可以向法院起诉要求变更抚养权。离婚后可以通过变更抚养权方式要回孩子抚养权。变更抚养权需要以下条件：1、子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；3、八周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的。

一、得了癌症是否能丧失抚养权？

得了癌症，如果没有因此无力继续抚养子女，不会失去抚养权。有下列情形的，可以变更抚养权：与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响；八周岁以上未成年子女，愿随另一方生活，该方又有抚养能力等。

二、抚养权变更去哪儿办理

抚养权变更要去公证处通过办理变更抚养权协议公证来变更。父母离婚后，可以变更抚养权的情况如下：

1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；

2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；

3、八周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；

4、有其他正当理由需要变更的。