在退还房屋时所涉及到的违约违约金金额，既要依照相关的合同条款设定，同时还需符合法律法规的规定，并且，约定的内容具有明显的优先性。因此，如果合同中有明确的违约责任及其对应的违约金具体额度，就应以该条款为准则进行处理；倘若合同中未对此事项做出相应的约定，那么依据相关法律法规进行处理便是必然之选。通常来说，若合同中并未对违约金的比例作出明确规定，那么一般的违约金比例不应超过百分之三十。当双方均存在过失行为时，应根据各自的过错程度来承担相应的责任。
另外，如果约定的违约金低于实际造成的损失，人民法院或仲裁机构有权根据当事人的申请进行相应的调整；反之，如果约定的违约金过高，超出了实际造成的损失，人民法院或仲裁机构也可根据当事人的申请进行合理的削减。

《民法典》第五百八十五条
当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加;约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。