法律没有明确的规定。

在下列情况下，离婚时不能要回彩礼：

(一)已经登记结婚并同居生活的。这种情形下离婚后彩礼不需要归还。

(二)男女双方未办理结婚登记手续而同居生活时间较长的，一般应当以两年以上或者同居生活期间生育子女的的情况，离婚后彩礼不需要归还。

(三)男女双方未办理结婚登记手续而同居生活，所接受的彩礼确已用于共同生活的，离婚后彩礼不需要归还。共同生活的界定，主要限制在家庭成员因生活、生产需要并实际支出，比如男女一方或双方患病花费、共同经营投资等。

综合上述情况，如果已经与女方登记结婚，并同居生活的，即使女方没有生育能力也无法要求返还彩礼，反之则可以。

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

(一)双方未办理结婚登记手续的;

(二)双方办理结婚登记手续但确未共同生活的;

(三)婚前给付并导致给付人生活困难的。