退房违约金是指根据合同约定，由违反合同一方向另一方支付的赔偿金，以补偿因违反合同行为给对方带来的经济损失。实际上，这是对违反合同行为给对方造成损害的一种赔偿方式。因此，应由违反合同的一方承担支付责任，给予遵守合同的一方作为补偿。

《中华人民共和国民法典》第五百七十七条【违约责任】当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。