当双方都自愿决定解除合同的时候，到底中介费能不能退还，这得依据具体的合同约定来进行判断。
通常情况下，如果在合同里清楚地写明了中介费在哪些情形下是可以退还的，那就按照约定来处理就行。
要是合同里没约定，中介费是因为促成合同成立才收取的。
要是合同没成立或者中途给解除掉了，而中介方已经给双方提供了一部分服务，这种时候，可能就不会把中介费全额都退给你，不过会根据实际的情况，合理地退还一部分费用。
比如说，中介已经帮双方做了一些沟通、协调之类的工作，那在扣除掉相应的成本之后，就会把剩下的部分退还给你。
总而言之，确定中介费是否退还以及退还的比例，得依据合同的约定，还有实际发生的情况来综合考量。