不给探视，不一定能要回抚养权，探望权和抚养权之间没有必然的因果关系。遇到以下情况，当事人可以要求变更抚养权：

（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

（二）有其他正当理由需要变更。

一、离婚后是否还能变更抚养权

离婚后可以变更抚养权，有下列情形的法院会支持变更抚养权的请求：

1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；

2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；

3、十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；

4、有其他正当理由需要变更的。

二、孩子抚养权要怎么变更？

孩子抚养权可通过协议、起诉等方式变更。根据相关规定，双方协商一致，可以自行变更抚养权、若协商不成，且存在直接抚养方患病或虐待子女等不宜继续抚养子女的情形，一方或双方主动要求变更，人民法院应予支持。具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：

1、与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

3、已满八周岁的子女，愿随另一方生活，该方又有抚养能力；

4、有其他正当理由需要变更。

三、变更抚养权有哪几种情形

变更抚养权的情况有以下四种：

(1)与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的;

(2)与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的;

(3)十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的;

(4)有其他正当理由需要变更的。