如果双方没有共同生活过，需要退还彩礼。根据我国相关法律规定，给付彩礼一方当事人请求返还彩礼的，如果法院查实处于下列情形之一的，予以支持：1、双方没有办理结婚登记的；2、双方虽然办理了结婚登记，但是没有共同生活过；3、给付彩礼一方当事人婚前给付彩礼行为导致其生活困难。

一、男方出轨彩礼还用退吗

男方出轨的，彩礼是否要退还可以由双方先协商处理，协商不成的可以由法院判决。法律规定当事人请求返还彩礼的，如果有以下情形，法院会予以支持：双方没有办理结婚登记手续、双方虽然办理结婚登记手续但确未共同生活、婚前给付并导致给付人生活困难的。如果不符合以上条件，则法院不支持退还。

二、什么情况下应当返还彩礼

应该返还彩礼的情况有：

1、没有办理结婚登记的，男方可以要求返还彩礼；

2、夫妻双方办理了结婚登记但是没有共同生活就离婚的可以要求返还彩礼；

3、男方婚前给付彩礼导致自己生活困难，离婚后可以要求返还彩礼。

三、悔婚、不嫁退彩礼钱的规定是什么

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

1、双方未办理结婚登记手续的；

2、双方办理结婚登记手续但确未共同生活的；

3、婚前给付并导致给付人生活困难的。

适用前款第2、3项的规定，应当以双方离婚为条件。出现以上三种情况，法院是支持彩礼返还的。

决定彩礼是否返还，以当事人是否缔结婚姻关系为主要判断依据。结婚前给付彩礼的，必须以离婚为前提，才能考虑支持返还请求。如果给付彩礼之后，在婚姻关系存续期间，给付人要求返还给付的，不予支持。判决不准离婚的，则不能支持当事人返还彩礼的请求。给付彩礼后办理了结婚登记，但双方并未真正在一起共同生活，对于要求返还彩礼的，应予以支持。