在购房过程中，交付了首付款后却又欲放弃购买并退回房屋，这种行为严格而言是不被法律所允许的。原因在于，房屋买卖合同的签订和履行具有法律效力，不应轻率予以解除。若经双方协商，最终达成协议解除本合同，那么作为买方也需要承担相应的违约责任，以弥补卖方因此而蒙受的经济损失。

《民法典》第四百六十五条
依法成立的合同，受法律保护。
依法成立的合同，仅对当事人具有法律约束力，但是法律另有规定的除外。
第四百六十六条
当事人对合同条款的理解有争议的，应当依据本法第一百四十二条第一款的规定，确定争议条款的含义。
合同文本采用两种以上文字订立并约定具有同等效力的，对各文本使用的词句推定具有相同含义。
各文本使用的词句不一致的，应当根据合同的相关条款、性质、目的以及诚信原则等予以解释。