只要劳动者违反服务期约定、违反保密义务、违反竞业限制后，就要承担违约金。除此之外，用人单位不得与劳动者约定由劳动者承担违约金。违约金是指，按照当事人的约定或者法律直接规定，一方当事人违约的，应向另一方支付的金钱。存在以下情形的，单位可以约定由劳动者承担违约金：

1、在培训服务期约定中约定违约金；

2、在竞业限制约定中约定违约金。用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。

劳动者只承担两类违约金

根据《劳动合同法》，劳动者只承担两类违约金。

《劳动合同法》第二十二条规定：用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金，不得超过服务期尚未履行部分所应分摊的培训费用。

《劳动合同法》第二十三条规定：用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项。劳动者违反约定，应当按照约定向用人单位支付违约金。

《中华人民共和国劳动合同法》第二十二条用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。

劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。

用人单位与劳动者约定服务期的，不影响按照正常的工资调整机制提高劳动者在服务期期间的劳动报酬。