一般情况下，前妻服刑的，男方可以要回孩子的抚养权。因为有以下情况之一的，法院支持变更抚养权：1、和子女共同生活的一方，因患重病或伤残，无力抚养子女；2、不尽抚养义务、虐待子女，或其对子女身心健康确有不利影响的；3、十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的。

想离婚孩子抚养权归谁

离婚后孩子的归属，两周岁以内的孩子，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。

法律依据：

《民法典》第一千零八十四条第三款规定

离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。

《最高人民法院关于适用中华人民共和国民法典婚姻家庭编的解释（一）》

第四十四条离婚案件涉及未成年子女抚养的，对不满两周岁的子女，按照民法典第一千零八十四条第三款规定的原则处理。母亲有下列情形之一，父亲请求直接抚养的，人民法院应予支持：

（一）患有久治不愈的传染性疾病或者其他严重疾病，子女不宜与其共同生活；

（二）有抚养条件不尽抚养义务，而父亲要求子女随其生活；

（三）因其他原因，子女确不宜随母亲生活。

第四十五条父母双方协议不满两周岁子女由父亲直接抚养，并对子女健康成长无不利影响的，人民法院应予支持。

第四十六条对已满两周岁的未成年子女，父母均要求直接抚养，一方有下列情形之一的，可予优先考虑：

（一）已做绝育手术或者因其他原因丧失生育能力；

（二）子女随其生活时间较长，改变生活环境对子女健康成长明显不利；

（三）无其他子女，而另一方有其他子女；

（四）子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或者其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活。

第四十七条父母抚养子女的条件基本相同，双方均要求直接抚养子女，但子女单独随祖父母或者外祖父母共同生活多年，且祖父母或者外祖父母要求并且有能力帮助子女照顾孙子女或者外孙子女的，可以作为父或者母直接抚养子女的优先条件予以考虑。

第四十八条在有利于保护子女利益的前提下，父母双方协议轮流直接抚养子女的，人民法院应予支持。

《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第一条规定，方要求变更子女抚养关系有下列情形之一的，应予支持：

（1）患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；

（2）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；

（3）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；

（4）有其他正当理由需要变更的。