政府的相关部门对违章建筑是有拆除责任的，如果政府不依法拆除违章建筑侵害公民合法利益的，是可以起诉政府的。

《中华人民共和国城乡规划法》

第六十五条在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

第六十八条城乡规划主管部门作出责令停止建设或者限期拆除的决定后，当事人不停止建设或者逾期不拆除的，建设工程所在地县级以上地方人民政府可以责成有关部门采取查封施工现场、强制拆除等措施。

《中华人民共和国行政诉讼法》

第十二条人民法院受理公民、法人或者其他组织提起的下列诉讼：

（十二）认为行政机关侵犯其他人身权、财产权等合法权益的。

除前款规定外，人民法院受理法律、法规规定可以提起诉讼的其他行政案件。

一、违章建筑拆迁有补偿吗

认定是违章建筑，无权主张拆迁补偿。根据《国有土地上房屋征收与补偿条例》第二十四条市、县级人民政府及其有关部门应当依法加强对建设活动的监督管理，对违反城乡规划进行建设的，依法予以处理。

市、县级人民政府作出房屋征收决定前，应当组织有关部门依法对征收范围内未经登记的建筑进行调查、认定和处理。对认定为合法建筑和未超过批准期限的临时建筑的，应当给予补偿；对认定为违法建筑和超过批准期限的临时建筑的，不予补偿。

二、违章建筑包括哪些

目前我国法律并没有明确违章（法）建筑的含义，在学术界目前比较认可的一种说法是：违反《土地管理法》、《城乡规划法》等相关法律法规的规定而建造的建筑物和其他工作物。

（1）未申请或申请未获得批准，并未取得建设用地规划许可证和建设工程规划许可证而建成的建筑物；

（2）擅自改变建设工程规划许可证的规定建成的建筑物；

（3）擅自改变了使用性质建成的建筑物；

（4）临时建筑建设后超过有效期未拆除成为永久性建筑的建筑物；

（5）通过伪造相关材料向主管部门骗取许可证而建成的建筑物。

不予补偿的违章（法）建筑是指依照法律规定应当无偿拆除的建筑，而不能以是否具有产权证或者批准文件作为判断是否是违章（法）建筑的唯一标准。没有相关的产权证明很多时候是因为社会历史遗留原因造成的，并不是产权人主观之过。