是可以退的，只要在诉讼时效内。即以该判决书的生效时间为诉讼时效的起点，而不以交付抚养费的时间为起点。抚养费并不是给大人的，而是为了孩子的健康成长而给予的，即使抚养关系已经变更但是之前的抚养费是自己应该交纳的，这是自己的法定义务。除非是预先给付的那部分，对另一方来说属于不当得利应该返还。

变更抚养关系及变更抚养关系的条件

夫妻离婚后的任何时间内，一方或双方的情况或抚养能力发生较大变化，均可提出变更子女抚养权的要求。有下列情形之一的，人民法院应予支持：

1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；

2、与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；

3、8周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；

4、有其他正当理由需要变更的。

《中华人民共和国民法典》第一千零八十五条离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。