离婚时是否退彩礼与谁提出的离婚没有关系。如果双方虽然结婚了但是没有共同生活；或者给付彩礼导致男方生活困难的，在离婚时才需要退还彩礼，不存在这两种情况的即使离婚也不需要退还彩礼。

关于造成男方生活困难，这种困难是一种绝对困难，指男方依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。

如果女方家给男方彩礼是财产吗

结婚彩礼一般不属于夫妻共同财产。

彩礼一般是婚前所得，是男方婚前为缔结婚约向女方赠与的钱财。

根据民法典赠与合同的规定，赠与后，财产的所有权就归受赠人，则应当成为一方的婚前个人财产。

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

1、双方未办理结婚登记手续的；

2、双方办理结婚登记手续但确未共同生活的；

3、婚前给付并导致给付人生活困难的。

《最高人民法院关于适用婚姻家庭的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。