对于要回抚养权的问题是需要有一定的条件的，一般情况下如果男方没有相应的抚养能力的话，是可以进行起诉要回抚养权的。

一、要回抚养权的条件

要回抚养权的条件根据具体情况而定。要回抚养权的方式有协议和诉讼两种。如果双方能协议一致，可以协议变更，协议不成的到法院起诉，由法院判决。对于直接抚养一方有不利于孩子健康成长情形的，另一方申请变更抚养权法院是会予以支持的。如果不能证明更有利于孩子成长，则不利于法院判决变更抚养权。

二、如何讨要男方要回抚养权

抚养权归男方，但子女实际跟随女方生活，女方希望变更子女抚养关系的，可以采取以下两种方式：1、协议变更。即由男女双方签订协议，约定变更子女抚养关系，自协议签订之日起，子女随女方生活，子女抚养权归女方。2、诉讼变更。即由女方向法院起诉，要求法院判决变更抚养权。这种情况下女方起诉变更抚养权的，由于子女一直随女方生活，男方虽然拥有抚养权，但实际上并未尽抚养义务，根据相关法律是可以要回抚养权的。

三、抚养权在男方女方想要回抚养权有什么办法

抚养权在男方女方想要回抚养权的方法：

1、女方通过和男方协商的方式要回抚养权。如双方能就女方要回抚养权的问题协商一致，那么女方可以与男方签订抚养权变更协议，然后根据协议获得孩子的抚养权；

2、如果男方因伤残无力继续抚养子女，那么女方还可通过诉讼方式要回孩子的抚养权。