对于房屋定金不予退还说不准是否存在合法性争议。首先，若债权人履行了应尽之责任，则他有权将定金当做价格优惠或直接取回。其次，如给付定金的一方未能充分履约，或者履约操作不符合之前约定的标准，导致无法实现原始合同设定的整体目标，那么，其就无权要求对方偿还所支付的定金款项。最后，假如接受定金的一方也相应地未能完全履约，或者他们的履约行为违反了预先制定的规定，从而使得既定的合同目标无法得以顺利实现，此时，违约者有义务向原支付方双倍返还定金。

《民法典》第五百八十七条
债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；
收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。