离婚的时候男方要求全部退还彩礼，一般情况下是不用退的，但是有两种特殊情况需要退还。第一种是双方虽然办理了结婚登记，但是没有实际共同生活过，离婚时男方可以请求返还彩礼。第二种是男方婚前给付彩礼导致自己生活困难，离婚时可以请求返还彩礼。

什么情况下才可以要求退还彩礼

可以要求返还彩礼的情况有：

1、没有办理结婚登记的，男方可以要求返还彩礼；

2、夫妻双方办理了结婚登记但是没有共同生活就离婚的可以要求返还彩礼；

3、男方婚前给付彩礼导致自己生活困难，离婚后可以要求返还彩礼。

《最高人民法院关于适用婚姻家庭编的解释（一）》第五条

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。