若买方因自身之缘由而要求解除房屋买卖协议，那么此时卖方有权从买方应支付之货款中适当扣除违约金额。反之，若由于卖方未能按照合同条款履行其职责或者出现不可抗力等非买方原因引发的违约情况时，买方有权行使权利解除房屋买卖协议并要求卖方退还已支付的所有款项以及购房定金同时支付一定比例的补偿性违约金额以弥补买方所遭受的经济损失。在双方达成同意解除房屋买卖协议之共识后，则不存在任何一方需要支付对方违约金的情况。至于涉及到的违约金额这一问题，我们通常遵循合同约定并结合实际损失状况来予以确定。

《中华人民共和国民法典》
第五百七十八条
当事人一方明确表示或者以自己的行为表明不履行合同义务的，对方可以在履行期限届满前请求其承担违约责任。
第五百八十五条
当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。