只能要求劳动者承担损害赔偿金的情形违约金适用的前提是约定，在无约定的情况下，劳动者违约只能适用损害赔偿金。

根据《劳动合同法》及相关法律规定，劳动者应当且只能承担损害赔偿金的情形有以下几种：

一是用人单位为劳动者提供了专项专业技术培训，但未约定服务期和违约金，劳动者违法解约，可以要求其承担损害赔偿金，但若劳动者按照正常程序，即提前三十日通知用人单位，则用人单位不得要求劳动者承担损害赔偿金。

二是劳动者有保密义务，但用人单位未与其约定竞业限制协议，劳动者离职即从事与原工作形成竞业的活动，因没有竞业限制义务，不构成违法，不承担损害赔偿金。

但若劳动者离职后泄露了原单位的商业秘密，给原单位造成损失的，即便没有竞业限制约定，劳动者也应当承担由此产生的损害赔偿金；三是用人单位与劳动者约定了竞业限制协定但未约定违约金的，劳动者违反竞业限制协定的，这种损害赔偿金包括两种情形：一种是只违背协定，但并未侵害原单位的商业秘密，损害赔偿金一般限于用人单位向劳动者支付的经济补偿，另一种是劳动者违反竞业限制协定的同时还实际造成对用人单位商业秘密的损害，这种损害赔偿金额度就不仅限于用人单位付出的经济补偿金，还包括商业秘密受损的赔偿。

竞业限制的目的是为保密，但违反竞业限制并不一定就会侵害商业秘密。例如，劳动者虽然从事与原工作形成竞业的活动，但并未利用从原单位获得的商业秘密，这就只违背竞业义务，而没有侵害原单位的商业秘密；没有约定竞业限制协定，也没有在劳动合同中约定保密义务，并不代表员工没有保密义务，根据合同的诚实信用原则，合同双方当事人不得不正当的利用因合同而获得的对方的信息，据此，只要侵害了用人单位的商业秘密，无论是否有竞业限制协定或保密义务约定，均要承担损害赔偿责任。