对方不付抚养费的，当事人一般不能去起诉撤销其监护权，只有在监护人实施严重损害被监护人身心健康的行为；或者怠于履行监护职责等情况下才可以申请撤销监护，撤销监护后由人民法院按照最有利于被监护人的原则依法指定监护人。不付抚养费是否可以起诉撤销监护权的法律依据

《中华人民共和国民法典》第三十六条第一款

监护人有下列情形之一的，人民法院根据有关个人或者组织的申请，撤销其监护人资格，安排必要的临时监护措施，并按照最有利于被监护人的原则依法指定监护人：

（一）实施严重损害被监护人身心健康的行为；

（二）怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态；

（三）实施严重侵害被监护人合法权益的其他行为。

《中华人民共和国民法典》：第二章　自然人 第二节　监护　　第三十六条　监护人有下列情形之一的，人民法院根据有关个人或者组织的申请，撤销其监护人资格，安排必要的临时监护措施，并按照最有利于被监护人的原则依法指定监护人：\n　　（一）实施严重损害被监护人身心健康的行为；\n　　（二）怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态；\n　　（三）实施严重侵害被监护人合法权益的其他行为。\n　　本条规定的有关个人、组织包括：其他依法具有监护资格的人，居民委员会、村民委员会、学校、医疗机构、妇女联合会、残疾人联合会、未成年人保护组织、依法设立的老年人组织、民政部门等。\n　　前款规定的个人和民政部门以外的组织未及时向人民法院申请撤销监护人资格的，民政部门应当向人民法院申请。