你是可以起诉要回子女的抚养权的。

我国法律规定，具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：

（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；

（四）有其他正当理由需要变更。

父母双方都不想要孩子抚养权怎么办？

夫妻离婚要是因为孩子的抚养权产生纠纷的话，无疑就是两种情况，要么双方都想要孩子抚养权，要么双方都不愿实际抚养孩子。一般情况下，法院在判决时主要考虑子女随哪一方生活更有利于子女健康成长，综合双方的经济条件、品格、职业等因素。如果被指定的一方拒不履行抚养义务，法院可以采取制裁措施迫使其履行自己的义务。

最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）第五十六条，具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：

（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；

（四）有其他正当理由需要变更。