违章建筑的认定是由县级以上人民政府土地行政主管部门负责的，现实情况中一般是由住建部门和市政管理部门负责的。《城市规划法》第四十条：在城市规划区内，未取得建设工程规划许可证件或者违反建设工程规划许可证的规定进行建设，严重影响城市规划的；由县级以上人民政府城市规划行政主管部门责令停止建设，限期拆除或者没收违法建筑物、构筑物或者其他设施。

一、违章建筑由谁认定

根据《城市规划法》的规定，违章建筑的认定，是城市规划行政主管部门的职权范围，判断某一建筑是否属于违章建筑，必须由房屋所在地的城市规划行政主管部门出具证明。而拆迁人或者房屋拆迁主管部门都没有认定的权利。

二、违章建筑怎么拆

（一）调查询问、现场勘验。由违章建筑所在地乡、镇人民政府组织相关部门、人员进行调查询问、现场勘验（笔录、照片、测绘、相关审批材料、其它违法占地证据等），确认是否违法、违规。

（二）责令停止违法行为。对违章建筑确认后，由违章建筑所在地乡、镇人民政府责令停止违法行为，予以公告，限期当事人自行拆除。

（三）由区规建局作出行政处罚决定。根据《中华人民共和国城乡规划法》第六十四条未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。

由违章建筑所在地乡、镇人民政府将违章建筑相关事由报区建设局，区建设局审核后，符合行政处罚的，作出行政处罚决定。