根据我国法律规定，单位如果不发放高温补贴的话，确实是违法的。

法律依据：

《防暑降温措施管理办法》第十七条劳动者从事高温作业的，依法享受岗位津贴。用人单位安排劳动者在35℃以上高温天气从事室外露天作业以及不能采取有效措施将工作场所温度降低到33℃以下的，应当向劳动者发放高温津贴，并纳入工资总额。高温津贴标准由省级人力资源社会保障行政部门会同有关部门制定，并根据社会经济发展状况适时调整。

第二十一条用人单位违反职业病防治与安全生产法律、行政法规，危害劳动者身体健康的，由县级以上人民政府相关部门依据各自职责责令用人单位整改或者停止作业；情节严重的，按照国家有关法律法规追究用人单位及其负责人的相应责任；构成犯罪的，依法追究刑事责任。

用人单位违反国家劳动保障法律、行政法规有关工作时间、工资津贴规定，侵害劳动者劳动保障权益的，由县级以上人力资源社会保障行政部门依法责令改正。