拆迁人非法拆迁的，根据《城市房屋拆迁行政裁决工作规程》的规定，由所在市、县房屋拆迁管理部门责令拆迁人停止拆迁，并依法予以行政处罚。根据《行政处罚法》的规定行政处罚的种类有：（一）警告；（二）罚款；（三）没收违法所得、没收非法财物；（四）责令停产停业；（五）暂扣或者吊销许可证、暂扣或者吊销执照；（六）行政拘留；（七）法律、行政法规规定的其他行政处罚。

1、对于没有任何法律依据而进行野蛮拆迁的拆迁人，根据国务院办公厅发布的《关于控制城镇房屋拆迁规模严格拆迁管理的通知》规定：对野蛮拆迁，严重侵犯居民利益的行为，要坚决制止，情节严重的，要取消其相应资格，依法严肃处理。因此，擅自强制拆迁有被吊销拆迁资质、停止拆迁、影响土地使用权行使的风险。

2、如果拆迁人自己或纠集社会闲散人员，以吵闹、辱骂等方式干扰居民正常生活以达到赶走被拆迁人的目的，根据《治安管理处罚法》相关规定，拆迁人通过写恐吓信或者用其他方法威胁、干扰被拆迁人正常生活的；强制进入被拆迁人住宅搬走其财产，限制其人身自由的；殴打被拆迁人造成轻微伤害的；尚不够刑事处罚的，拆迁人可能会被处以十五日以下拘留、二百元以下罚款或者警告。

上述三种责任并非只能适用其一，或有先后之分，而是相互之间是交叉或互补的关系，当出现法律所禁止的行为时，是可以相互并用的，甚至是刑事责任、民事责任，行政责任三者合用。

什么是行政责任

行政责任是指犯有一般违法行为的单位或个人，依照社律法规的规定应承担的法律责任。行政责任主要有行政处罚和行政处分两种方式。行政处罚是指行政机关或其他行政主体依法定职权和程序对违反行政法规尚未构成犯罪的行政管理相对人给于行政制裁的具体行政行为。