一、谁负责违章建筑的拆除工作

违章建筑的房子属于县级以上人民政府土地行政主管部门管理，一般是由住建部门和市政管理部门负责。住建部门和市政管理部门责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除。

《土地管理法》第八十三条

依照本法规定，责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除；对继续施工的，作出处罚决定的机关有权制止。建设单位或者个人对责令限期拆除的行政处罚决定不服的，可以在接到责令限期拆除决定之日起十五日内，向人民法院起诉；期满不起诉又不自行拆除的，由作出处罚决定的机关依法申请人民法院强制执行，费用由违法者承担。

二、如何判定建筑是否为违章建筑

1．未申请或申请未获得批准，未取得建设用地规划许可证和建设工程规划许可证而建成的建筑；

2．擅自改变建设工程规划许可证的规定建成的建筑；

3．擅自改变了使用性质建成的建筑；

4．擅自将临时建筑设成为永久性建筑。

三、申请拆除违章建筑的程序是什么

申请拆除违章建筑的程序如下：

1．立案。执法部门发现或接到投诉、举报等事实或者材料后，认为有违法事实发生或存在并需要追究法律责任时，作为行政案件进行查处；

2．调查程序。在调查中，应当注意的是调查人员不得少于2个人，且调查人员在执法时需要主动出示证件；

3．决定程序。告知事实理由，并听取陈述、申辩。执法人员在作出处罚决定前，一般会书面告知被处罚人行政处罚的事实、理由和依据。如果执法人员拒绝听取当事人的陈述、申辩，行政处罚决定不能成立。其次是听证，行政机关实施行政处罚过程中，在作出决定前听取调查人员提出当事人违法的事实、证据和行政处罚建议与法律依据，并听取当事人的陈述、举证、质证和申辩及意见；

4．送达程序。执法机关如果决定要进行处罚，会作出并向被处罚人送达行政处罚决定书。

《中华人民共和国土地管理法》第八十三条