一是违约金的数额应考虑双方当事人(特别是劳动者)的承受能力;

二是约定违约金时双方要对等。

如果劳动者认为用人单位要求支付的违约金偏高，可以向劳动争议仲裁委员会申诉，仲裁委员会可以根据劳动者的违约程度、实际收入水平、用人单位的损失等情况综合考虑。对于违约金约定偏高显失公平的，仲裁委员会可以酌情降低。

根据《劳动合同法》的规定，只有两种情形下能约定由劳动者支付违约金。分别为：

1、用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以约定服务期和违约金，劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。

2、用人单位与劳动者约定竞业限制条款的，可以约定违约金，劳动者违反竞业限制约定的，应当向用人单位支付违约金。并且在适用违约金条款时，规定违约金的数额不得超过用人单位提供的培训费用，用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。除上述两种情形外，用人单位不得要求劳动者支付违约金。因此，你如果没有上述两种情形，单位约定违约金是无效的，你可以拒绝交。