按照协议约定，退房违约金应由守约方收取。退房违约金实质上是合同双方在签订合同时约定的，当其中一方因违反合约条款而使得另一方遭受经济损失时，其需向另一方所支付的赔偿金额。实际上，它是对违约行为给另一方造成的损害进行的一种补偿。因此，从法律角度来看，退房违约金理应由违约方支付给守约方。

《中华人民共和国民法典》第五百七十七条【违约责任】当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。