法律规定，正常工作时间每天是8个小时，其它时间都是给予职工的休息时间。用人单位因生产经营需要安排职工加班的，一般每日不得超过1小时；因特殊情况需要延长工作时间的，延长工作时间每日不得超过3小时，但是每月不得超过36小时。如果用人单位违反了上述规定，劳动者有权拒绝加班。

如果假日加班单位不给予合理的加班费的，可依照《劳动合同法》第八十五条“由劳动行政部门责令限期支付劳动报酬、加班费或者经济补偿;劳动报酬低于当地最低工资标准的，应当支付其差额部分;逾期不支付的，责令用人单位按应付金额百分之五十以上百分之一百以下的标准向劳动者加付赔偿金”。

我国劳动法第四十一条规定：“用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不超过一小时;因特殊原因需要延长劳动时间的，在保障劳动者身体健康的条件下延长工作时间每日不超过三个小时，但是每月不超过36小时。”

该规定表明，单位没有权力单方面要求职工加班，只有和工会和劳动者协商一致的情况下，才可以延长劳动者工作时间。如果没有协商强迫劳动者加班是违反我国劳动法规定的。即便单位存在要求自愿加班的内部规章制度也因为与劳动法冲突而无效。

所以，单位不得以劳动者拒绝加班扣发劳动者工资或者解除与劳动者的劳动关系。

如果单位以劳动者拒绝加班为由克扣劳动者的工资，劳动者可以依法向劳动监察大队举报或者向劳动仲裁委员会申请劳动仲裁，以维护自己的合法权益。