房屋租金的退还与否取决于多种因素，具体的处理方式应根据合同中对违约责任的相关条款进行判断。
若合同明确约定违约不予退还租金，那么在这种情况下，房主有权保留租金而无需予以返还;
反之，如果合同并未对此做出明确规定，则房主有义务将租金退还给租户。
然而，若租户存在违约行为，房东也有权按照合同中的相应条款向其索取违约金。
在法律层面，违约条款一经确立，即意味着违反合同约定方需承担继续履行、弥补过失以及赔偿实际损失等多种违约责任。

《民法典》第五百七十七条
当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。