可以起诉，取消监护人资格。

《民法典》第三十六条【撤销监护人资格】监护人有下列情形之一的，人民法院根据有关个人或者组织的申请，撤销其监护人资格，安排必要的临时监护措施，并按照最有利于被监护人的原则依法指定监护人：

(一)实施严重损害被监护人身心健康的行为；

(二)怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态；

(三)实施严重侵害被监护人合法权益的其他行为。

本条规定的有关个人、组织包括：其他依法具有监护资格的人，居民委员会、村民委员会、学校、医疗机构、妇女联合会、残疾人联合会、未成年人保护组织、依法设立的老年人组织、民政部门等。

前款规定的个人和民政部门以外的组织未及时向人民法院申请撤销监护人资格的，民政部门应当向人民法院申请。

第三十七条【监护人资格被撤销后负担义务不免除】依法负担被监护人抚养费、赡养费、扶养费的父母、子女、配偶等，被人民法院撤销监护人资格后，应当继续履行负担的义务。

补充规定：

一、监护人概念：

监护人是指对无行为能力或限制行为能力的人的人身、财产和其它一切合法权益负有监督和保护责任的人。一般来说，未成年人、精神病患者及其他有严重精神障碍的人，都应设置监护人。

关系密切的其他亲属和朋友。这些人虽然与近亲属不同，没有必须担任监护人的法律上的义务，但是，有些是自愿承担监护责任的，经所在单位或者居委会、村委会同意，可以担任监护人。

如果没有上述监护人，则由社会和国家负责，由所在单位或者居委会、村委会或者民政部门担任监护人。

二、适格监护人

1、未成年人的法定监护人：首先应当由其父母担任，如父母死亡或者无监护能力的，按下列顺序由以下人员担任：①祖父母、外祖父母；②成年的兄、姐；③未成年人父母所在单位或未成年人住所地的居民委员会、村民委员或者民政部门。

2、精神病人的法定监护人：按照下列顺序由以下人员担任：①配偶；②父母；③成年子女；④其他近亲属；⑤精神病人所在单位或者住所地的居民委员会、村民委员会。此外，精神病人的其他亲属、朋友愿意担任监护责任，经有关单位同意的，出可以担任监护人。

3、未成年人或者精神病人没有上述范围的近亲属或近亲属丧失监护能力的，有关单位或居委会、村委会可以从愿意承担监护责任的其他近亲属、朋友中指定监护人。当近亲属对于由谁担任监护人发生争议时，有关单位、组织可以进行调解并从他们中间指定监护人。

4、法定监护人或指定监护人因故暂时无法行使监护权，可将监护职责部分或全部委托他人承担。受委托担任监护人的人为委托监护人。在此情形下，除有特别规定之外，被监护人致人损害的民事责任仍由法定监护人或指定监护人承担，但委托监护人对此确有过错的，应承担连带责任。