如果你确定对方有精神病的话，那是可以要回孩子抚养权的，抚养孩子主要是看哪一方抚养有利于孩子身心健康成长。如果对方抚养孩子不足以满足孩子身心健康成长的需要，另一方面是有权利变更抚养权的。

一、抚养权在谁那里孩子必须跟谁吗

抚养权在谁那里孩子不是必须跟谁。关于抚养权法律规定双方可以先协商确定，协商不成的可以上诉法院。如果一方有严重疾病或吸毒、赌博、虐待儿童等不利于孩子身心健康成长的情况，另一方可以申请变更抚养权，并且法院会予以支持。抚养权的归属是要看哪一方更有利于孩子身心健康成长。

二、争夺到孩子抚养权怎么判

1、突出自身经济条件方面的优势；2、突出自己所居住的环境有利于孩子身心健康成长；3、突出自己以及家人能给予孩子更多陪伴和照顾的证据；4、展示孩子想要与自己生活的意见的证据；5、提交对方不适合抚养孩子的证据。

三、男方想要小孩子的抚养权怎么办?

首先夫妻双方可以对谁拥有孩子的抚养权进行协商，协商不成的可以起诉要求判决变更抚养关系。此时想要拥有孩子抚养权的一方，需要向法官陈述要求拥有孩子抚养权的理由，还要提供相应的证据。如果当事人能够证明自己抚养孩子，比对方抚养更有利于孩子的健康成长，法官会才有可能把孩子判给您抚养。