拒绝退还，只要居间人圆满地履行完其提供的居间服务项目，成功促进了合同双方当事人的签约行动，便已经完整地履行完了居间责任，由此，合同当事方应按照约定支付给居间人为实现此目的而付出的辛劳所得——居间费用。
其理论依据在于：作为中介机构所提供的服务性质为居间服务，居间合同从本质上仅是为了保障居间人能够向委托方汇报有关订立合同的相关信息和机会，或者为他们提供订立合同所需的中间渠道服务；
而委托方在居间人的精心介绍以及牵线搭桥下，才得以与第三方达成相关协议，并向居间人支付一定数额的报酬作为感谢与犒赏。

《民法典》第九百六十三条中介人报酬请求权】中介人促成合同成立的，委托人应当按照约定支付报酬。对中介人的报酬没有约定或者约定不明确，依据本法第五百一十条的规定仍不能确定的，根据中介人的劳务合理确定。因中介人提供订立合同的媒介服务而促成合同成立的，由该合同的当事人平均负担中介人的报酬。因此，现实中要是房屋中介公司已经促成买卖双方达成房屋买卖合同，居间行为已经完成的情况下，即使买卖双方最终解除了房屋买卖合同，仍然需要向房屋中介公司支付中介费。