买房子贷款办不下来可以退还首付。买房人是否需要支付违约金要根据具体情况判定，如果是银行原因不能发放贷款，卖家应该无条件退还购房首付;如果是因为购房者自身原因不能向银行贷款，购房者需要承担违约责任，支付违约金给卖家，同时卖家应该返还首付款。

《中华人民共和国民法典》第五百六十三条、有下列情形之一的，当事人可以解除合同：
（一）因不可抗力致使不能实现合同目的;
（二）在履行期限届满前，当事人一方明确表示或者以自己的行为表明不履行主要债务;
（三）当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行;
（四）当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的;
（五）法律规定的其他情形。
以持续履行的债务为内容的不定期合同，当事人可以随时解除合同，但是应当在合理期限之前通知对方。