只要拆除程序不违法则不违法，但拆除违法建筑要赔偿。

根据相关法律法规，只要是物，就存在所有权，即使是违章建筑，也不能否定违章建筑物的权利人对建筑材料的所有权，也就是说行为的违法性不等于财产的非法性。建造行为是违法行为，但认定是否为违章建筑是行政部门的职责，强行拆除违章建筑也是执法部门的职责，其他任何单位或个人不能擅自拆除，因此应予以赔偿。

《城乡规划法》第六十四条规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。

违法建筑拆除的赔偿标准

在城市房屋拆迁过程中，拆除依法应当拆除的违反法律和行政法规而建设的建筑物和构筑物的，不予补偿。由此，我们可以看出：在城市房屋拆迁中对违章建筑进行处置时，并非全部拆除不予补偿，而是应当根据具体情况分门别类依法予以处理。对依法应当拆除的，予以拆除并不予补偿；对于拆迁公告前可以补办手续的违章建筑或手续不全的房屋等，则应查明事实，妥善处理，应予补偿的则予以补偿。