首先，请确定你与用人单位所签订的所有协议上是否有违约金的约定。顾名思义，违约金是合同约定的产物，如果没有约定过违约金，那离职时不可能发生违约金的问题。

其次，根据你所在的城市分类处理：

北京违约金数额有限制

《北京市劳动合同规定》第十九条规定：订立劳动合同可以约定劳动者提前解除劳动合同的违约责任，劳动者向用人单位支付的违约金最多不得超过本人解除劳动合同前12个月的工资总额。但劳动者与用人单位协商一致解除劳动合同的除外。

上海违约金设立条件有限制

《上海市劳动合同条例》第十七条规定：劳动合同对劳动者的违约行为设定违约金的，仅限于下列情形：一、违反服务期约定的;二、违反保守商业秘密约定的。违约金数额应当遵循公平、合理的原则约定。第十四条规定，劳动合同当事人可以对由用人单位出资招用、培训或者提供其他特殊待遇的劳动者的服务期作出约定。

总结：只有存在(1)出资招用;(2)出资培训;(3)特殊待遇;(4)商业秘密这些情况才可以设立违约金，否则对劳动者的违约金约定部分无效。

广州深圳依劳动合同约定解决。

江苏违约金设置条件有限制

《江苏省劳动合同条例》第十八条规定，当事人可以对双方的违约行为约定违约金。约定违约金应当遵循公平原则，根据劳动者的劳动报酬等因素合理确定。对劳动者的违约行为约定违约金的，仅限于下列情形：(一)违反服务期约定的;(二)违反保守商业秘密或者竞业限制约定的。第十五条规定，用人单位与其出资招用、培训或者提供其他特殊待遇的劳动者，可以在劳动合同中约定或者事先另行协商约定服务期。约定的服务期长于劳动合同期限或者超过劳动合同尚未履行期限的，当事人可以相应变更劳动合同期限等相关内容。当事人未变更劳动合同，劳动合同期满由用人单位终止合同的，用人单位不得追索劳动者服务期的赔偿责任。劳动合同期满用人单位要求劳动者继续履行服务期的，劳动者应当履行;劳动者违反服务期约定的，应当承担违约责任。

总结：只有存在(1)出资招用;(2)出资培训;(3)特殊待遇;(4)商业秘密或竞业限制这些情况才可以设立违约金，否则对劳动者的违约金约定部分无效。

浙江违约金设立条件有限制

《浙江省劳动合同办法》第十六条劳动合同对劳动者的违约行为设定违约金的，仅限于下列情形：(一)违反服务期约定的;(二)违反保守商业秘密约定的;(三)法律、法规、规章规定可以设定违约金的其他情形。违约金额的设定应当遵循公平、合理的原则。

评论：基本和上海江苏一样，但很奇怪，《办法》中未对服务期作出定义。