违法建筑应该由市政府或者乡政府拆除才是合法的。

（一）对于违法建筑物、构筑物和设施县级以上地方人民政府责成有关部门或者乡、镇人民政府可以依法组织强拆；

（二）对于作出国有土地上房屋征收补偿决定的市、县级人民政府，经人民法院裁定准予组织强拆；

（三）依据《行政强制法》第三十四条“行政机关依法作出行政决定后，当事人在行政机关决定的期限内不履行义务的，具有行政强制执行权的行政机关依照本章规定强制执行。”

（四）对于违法建筑物、构筑物和设施、在非法占用的土地上新建的建筑物和其他设施、已作出征收补偿决定国有土地上的房屋经过司法诉讼，已产生法律效力的裁判文书，有管辖权的人民法院可以依法组织强拆。

除以上机关外，其他任何单位和个人都无权实施房屋强拆。

一、合法强拆程序有哪些？

（一）政府作出拆迁决定，下达拆迁的明令时，房屋拆迁管理部门应当提前15日通知被拆迁人，并认真做好宣传解释工作，与被拆迁人协商，尽量动员被拆迁人自行搬迁。

（二）被拆迁人在公告指定的期限内仍未自动搬迁的，执行人员才能正式实施强制搬迁。

（三）强制拆迁时，应当组织街道办事处（居委会）、被拆迁单位负责人到现场作为强制拆迁证明人，并由公证部门对被拆迁房屋及其房屋内物品进行证据保全。实施强制拆迁时，被执行人应当到场，当然，如果其拒不到场，也不影响执行机关的执行。

（四）强制拆迁房屋证据保全时，公证机关应通知被拆迁人到场。如其拒不到场，公证员应在笔录中记明。公证员应当组织对所有物品逐一核对、清点、登记，分类造册。并记录上述活动的时间、地点，交两名有完全行为能力的在场人员核对后，由公证员和在场人员在记录上签名。被拆迁人拒绝签名的，公证员应在记录中记明。

（五）物品清点登记后，应运至指定处所，交给被执行人接收。不能立即交于被拆迁人的，拆迁人应将物品存放在合适的仓库中，同时，拆迁人应制作通知书，通知当事人在一定期限内领取物品。逾期不领的，拆迁人应办理提存。

（六）强制执行腾出的房屋，由裁决机关接收。

根据《裁决规程》的有关规定，实施强制拆迁的时候，不得采取恐吓、胁迫以及停水、停电、停止供气、供热等非法手段进行，执行程序须合法。