通常来讲，要是律师压根儿就没有实际去代理某个案件，那代理费是可以商量着退还的。
不过，到底能不能退，以及能退多少的比例，这得依据委托代理合同上的约定来判定。
倘若合同里面清清楚楚地写明了没代理就退费的条款，并且律师也确实没有履行代理的职责，一般情况下是能够要求把全部的代理费都给退回来的。
但要是合同没做这样的约定，律师可能就会以已经花费了一些准备工作之类的理由，主张有部分费用不能退。
在双方进行协商的时候，一定要把各自的权利和义务都弄清楚，好好地沟通交流。
要是实在没办法协商出一个结果，那就可以通过法律途径来解决问题，不过这样做会耗费更多的时间和成本。
总而言之，能不能把代理费给退回来，主要是看合同的约定以及具体的实际情况。