购房者与银行之间的借贷关系是独立于房屋买卖关系之外的，解除购房合同并不同时解除贷款合同。也就是说，购房者虽然不买房了，但因为其与银行间的债权债务关系仍然存在，所以这笔借款是一定要还的。一般认为，由房产商将应退购房款中属于购房者首付款的那部分直接退还给购房者，而属于购房者向银行借款的那部分直接交还给银行，并在实践中视为购房者向银行提前还款。

《贷款通则》第三十二条
借款人应当按照借款合同规定按时足额归还贷款本息。
贷款人在短期贷款到期１个星期之前、中长期贷款到期１个月之前，应当向借款人发送还本付息通知单；借款人应当及时筹备资金，按时还本付息。
贷款人对逾期的贷款要及时发出催收通知单，做好逾期贷款本息的催收工作。
贷款人对不能按借款合同约定期限归还的贷款，应当按规定加罚利息；对不能归还或者不能落实还本付息事宜的，应当督促归还或者依法起诉。
借款人提前归还贷款，应当与贷款人协商。