房屋定金如若拒绝退还并非必然涉及到违法权益的侵犯。首先，在义务人切实履行其债务的情况下，定金将被视为款项的一部分，用于抵冲应付款项或直接予以退还；其次，当支付定金的一方无法履行其债务或者未能按照约定达成相应目的时，他们并没有权利请求对方归还所缴纳的定金；最后，如果接受定金的一方未能履行其债务或者未能达到合同约定的目标，那么他们就有责任向对方双倍返还所收取的定金。

《民法典》第五百八十七条债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的,无权请求返还定金;收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。