限制人身自由的处罚由由法律设定。行政法规、部门规章等均不可以。若非法律设定的限制人身自由的处罚，直接无效。根据相关法律规定，下列事项只能制定法律：1、国家主权的事项；2、各级人民代表大会、人民政府、人民法院和人民检察院的产生、组织和职权；3、民族区域自治制度、特别行政区制度、基层群众自治制度；4、犯罪和刑罚；5、对公民政治权利的剥夺、限制人身自由的强制措施和处罚，等等。

但限制人身自由的行政处罚权只能由什么行使

公安机关。地方性法规可以设定除限制人身自由、吊销企业营业执照以外的行政处罚。法律、行政法规对违法行为已经作出行政处罚规定的，地方性法规不得超越法律、行政法规规定的给予行政处罚的行为、种类和幅度的范围另行作出行政处罚规定。

《中华人民共和国行政处罚法》第十条法律可以设定各种行政处罚。

限制人身自由的行政处罚，只能由法律设定。