依据我国民法典的规定，父母有责任抚养未成年子女或者没有独立生活能力的子女，所以智力残疾的人一般由父母照顾，但父母死亡的，兄弟姐妹可以作为监护人。

相关法律规定

《民法典》第27条对监护人做了规定。

《中华人民共和国民法典》

第二十七条父母是未成年子女的监护人。

未成年人的父母已经死亡或者没有监护能力的，由下列有监护能力的人按顺序担任监护人：

(一)祖父母、外祖父母；

(二)兄、姐；

(三)其他愿意担任监护人的个人或者组织，但是须经未成年人住所地的居民委员会、村民委员会或者民政部门同意。

第二十八条无民事行为能力或者限制民事行为能力的成年人，由下列有监护能力的人按顺序担任监护人：

(一)配偶；

(二)父母、子女；

(三)其他近亲属；

(四)其他愿意担任监护人的个人或者组织，但是须经被监护人住所地的居民委员会、村民委员会或者民政部门同意。