根据劳动法的相关规定，除了法律规定的两种情形外，用人单位不得与劳动者约定由劳动者承担违约金。用人单位以任何名义、任何形式约定违约金都是违法的。

违约金是指按照当事人的约定或者法律直接规定，一方当事人违约的，应向另一方支付的金钱。违约金的标准是金钱，但当事人也可以约定违约金的标的物为金钱以外的其他财产。违约金具有担保债务履行的功效，又具有惩罚违约人和补偿无过错一方当事人所受损失的效果，因此有的国家将其作为合同担保的措施之一，有的国家将其作为违反合同的责任承担方式。

根据劳动合同法的规定，只有两种情形下能约定由劳动者支付违约金。分别为：

1、用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以约定服务期和违约金，劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。

2、用人单位与劳动者约定竞业限制条款的，可以约定违约金，劳动者违反竞业限制约定的，应当向用人单位支付违约金。并且在适用违约金条款时，规定违约金的数额不得超过用人单位提供的培训费用，用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。除上述两种情形外，用人单位不得要求劳动者支付违约金。因此，你如果没有上述两种情形，单位约定违约金是无效的，你可以拒绝交付。