这个其实还是要看实际情况，如果通过中介买房，并且在买房之前双方已经签订了合约，在这个合约当中明确的写出了，如果贷款贷不了中介必须要全额退款，那么在这种情况下，肯定是由中介公司来负责。但实际上大部分人在买房的时候并不会在合同里面加上这一条，所以在贷款的时候如果贷不了，那肯定是由你自己来负责了，而中介公司一般都不会退钱给你的，所以在遇到这种情况之后，当务之急还是想办法去通过贷款审核。

《最高人民法院关于审理商品房买卖合同纠纷案件适用法律若干问题的解释》第二十三条
商品房买卖合同约定，买受人以担保贷款方式付款、因当事人一方原因未能订立商品房担保贷款合同并导致商品房买卖合同不能继续履行的，对方当事人可以请求解除合同和赔偿损失。因不可归责于当事人双方的事由未能订立商品房担保贷款合同并导致商品房买卖合同不能继续履行的，当事人可以请求解除合同，出卖人应当将收受的购房款本金及其利息或者定金返还买受人。