首先根据合同约定。如果合同没有明确约定，不是购房者的因素无法贷款，比如国家政策的变化，不可抗力因素等，是可以要求解除合同，退还定金和首付的。但如果是购房者恶意违约，或者由于本身资信等自身责任是不能退还的。
法律依据：
《中华人民共和国合同法》第一百一十三条
当事人一方不履行合同义务或者履行合同义务不符合约定，给对方造成损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益，但不得超过违反合同一方订立合同时预见到或者应当预见到的因违反合同可能造成的损失。