关于退还房屋的违约责任问题，在购房协议中有明确规定的话，我们会依照相应条款来衡量；而若无具体规定，依照惯例，我们通常需要支付总房价总值的百分之二十作为赔偿金，当所导致的损失较为严重之时，违约金可适当上调，最终的金额需视实际损失状况而定，但最高不应超过主合同实际损失的百分之三十。具体金额计算方法将参照双方签署的协议内容为准。

《中华人民共和国民法典》第五百八十五条当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。