有下列情形之一的，没有抚养权的一方要回抚养权，法院会支持：

1、与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

3、已满八周岁的子女，愿随另一方生活，该方又有抚养能力。

对方出轨可以要回孩子的抚养权吗

是否出轨与是否能争取到孩子的抚养权是两回事，对抚养权不产生影响。抚养孩子主要考虑抚养方的经济能力、文化水平等因素。如果出轨一方的经济能力、文化水平较高且更适合抚养孩子，人民法院一般会判决孩子归这一方，即使父母因为出轨等原因离婚，孩子与父母的关系也不因父母离婚消除，孩子想跟随出轨一方的，也应当充分尊重孩子的意愿。

《最高人民法院关于适用婚姻家庭编的解释（一）》第五十六条

具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：

（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；

（四）有其他正当理由需要变更。