限制人身自由处罚由公安机关行使。其他部门若行使限制人身自由的行政处罚权，属于越权行为。根据相关法律规定，国务院或者经国务院授权的，省、自治区、直辖市人民政府可以决定一个行政机关行使有关行政机关的行政处罚权，但限制人身自由的行政处罚权只能由公安机关行使。行政处罚由具有行政处罚权的行政机关在法定职权范围内实施。

一、哪些单位有权实施行政处罚

行政处罚的实施机关分为三类：1、行政机关实施行政处罚。2、授权实施行政处罚。3、委托实施行政处罚。1、具有法定行政处罚权的行政机关。具有法定行政处罚权的行政机关主要是依法履行外部行政管理职能，依法得到明确授权，代表国家在某一领域内行使行政管理权限的行政机关。包括各级人民政府以及公安、工商、税务、土地、审计、卫生等部门。2、法律、法规授权的具有管理公共事务职能的组织。工商所、税务所、公安派出所等行政机关的派出机构依相应法律、法规享有一定的行政处罚权，他们必须在授权法规定的行政处罚的种类、幅度范围内实施行政处罚。超过授权法规定的处罚种类、幅度、数额的限制，该行政处罚无效。如《税收征收管理法》规定，税务所可对个体工商户及未取得营业执照而从事经营的单位、个人实施罚款数额在一千元以下的行政处罚。3、受行政机关委托行使一定行政处罚权的受托组织。根据行政管理的实际的需要，行政机关依照法律、法规、规章的规定，可以在其法定权限内符合法定条件的组织实施行政处罚，如《治安管理处罚法》规定在农村没有公安派出所的地方，对违反治安管理行为处以警告、五十元以下罚款的，可以由公安机关委托乡(镇)人民政府裁决。

二、行政处罚主要实施机关有哪些

行政处罚的实施机关分为三类：1、行政机关实施行政处罚；2、授权实施行政处罚；3、委托实施行政处罚。能够接受行政委托、依法行使行政处罚的组织必须符合以下条件：依法成立的管理公共事务的事业组织；具有熟悉有关法律、法规、规章和业务的工作人员；等。