可以退还，然而，买方与银行之间的借款契约关系是独立于房产交易关系之外的，因此，解约购房协议并不等同于购销贷款一并消除。第二点，在买方退房之后，房地产开发企业需将购房款项归还给买方，但是为避免买方在取得已退回的购房资金之后不愿偿还贷款，这对开发商的利益无疑会产生负面影响。

《最高人民法院关于审理商品房买卖合同纠纷案件适用法律若干问题的解释》第十九条
商品房买卖合同约定，买受人以担保贷款方式付款、因当事人一方原因未能订立商品房担保贷款合同并导致商品房买卖合同不能继续履行的，对方当事人可以请求解除合同和赔偿损失。因不可归责于当事人双方的事由未能订立商品房担保贷款合同并导致商品房买卖合同不能继续履行的，当事人可以请求解除合同，出卖人应当将收受的购房款本金及其利息或者定金返还买受人。