对于此问题，建议您首先与房地产开发企业进行探讨协商。通常情况下，在支付首次付款之后，购买房屋的合同或认购协议都会详细列出相关条款规定，指出若任何一方在此基础上欲单方向终止交易，则需向另一半支付总购房金额的20%作为违约金。若是地产商对此表示认同，那么终止交易将是可行操作；倘若对方并不予以认可，您将会面临不得不与之继续协商或者考虑将房产转让他人的困境。鉴于此类情况，仅凭要求退还首付款来解决问题，恐怕难以达成预期结果。

《中华人民共和国民法典》
第五百七十七条当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
第五百八十二条履行不符合约定的，应当按照当事人的约定承担违约责任。对违约责任没有约定或者约定不明确，依据本法第五百一十条的规定仍不能确定的，受损害方根据标的的性质以及损失的大小，可以合理选择请求对方承担修理、重作、更换、退货、减少价款或者报酬等违约责任。
第五百八十三条当事人一方不履行合同义务或者履行合同义务不符合约定的，在履行义务或者采取补救措施后，对方还有其他损失的，应当赔偿损失。