智力残疾是需要拘留的。根据刑法的相关规定，尚未完全丧失辨认或者控制自己行为能力的精神病人犯罪的，应当负刑事责任，但是可以从轻或者减轻处罚。智力残疾人犯罪的刑事责任，如智力残疾4级经鉴定属于属于精神病人，不能控制和辨认自己行为的，则属于无刑事责任能力，不承担刑事责任，但民事责任按无民事行为能力人，由监护人来承担。在司法实践中，智力残疾人犯罪的，应当承担刑事责任，但可以从轻或减轻处罚。需要看他在实施犯罪时是否具备认知能力和控制能力。

一、精神病人犯罪了怎么处理呢？

精神病人在不能辨认或者不能控制自己行为的时候造成危害结果，经法定程序鉴定确认的，不负刑事责任，但是应当责令他的家属或者监护人严加看管和医疗；在必要的时候，由政府强制医疗。间歇性的精神病人在精神正常的时候犯罪，应当负刑事责任。尚未完全丧失辨认或者控制自己行为能力的精神病人犯罪的，应当负刑事责任，但是可以从轻或者减轻处罚。

二、精神病打人怎么处理

根据我国法律规定，需要具体情况具体分析，精神病属于无民事行为能力人，精神病人在不能辨认或者不能控制自己行为的时候造成危害结果，经法定程序鉴定确认的，不负刑事责任，但是应当责令他的家属或者监护人严加看管和医疗;在必要的时候，由政府强制医疗。间歇性的精神病人在精神正常的时候犯罪，应当负刑事责任。尚未完全丧失辨认或者控制自己行为能力的精神病人犯罪的，应当负刑事责任，但是可以从轻或者减轻处罚。