男女离婚时候是否要退回彩礼，还需要看实际的情况是否构成了彩礼返还的条件，如果构成了彩礼返还的条件，可以依法要求退回。
可以要求返还彩礼的情形包括3种：
1.给付彩礼后悔婚，双方未办理结婚登记的；
2.双方即使已经办理结婚登记手续，但确未共同生活过就离婚的；
3.婚前给付彩礼导致给付人生活困难，离婚时也可以此为由要求返还彩礼。

《民法典》第六百六十三条
受赠人有下列情形之一的，赠与人可以撤销赠与：
（一）严重侵害赠与人或者赠与人近亲属的合法权益；
（二）对赠与人有扶养义务而不履行；
（三）不履行赠与合同约定的义务。
赠与人的撤销权，自知道或者应当知道撤销事由之日起一年内行使。