通常来讲，仅仅凭借律师“不负责任”这样比较模糊的缘由去请求退还律师费，是比较难以获得支持的。
要是律师出现了极为明显的违约行为，像是没有依照约定去履行代理职责，或者丢失了关键的证据等情况，并且这种违约行为实实在在地给委托人带来了损失，那委托人就可以和律师商量退费的相关事宜。
要是商量无果，还可以依据委托代理合同里的约定，通过仲裁或者诉讼的途径来处理。
然而，如果合同中没有清晰地约定可以因为律师“不负责任”而进行退费的情形，法院在判断是否应该退费以及退费的比例时，就可能会综合考量案件的具体状况等各种因素。
这就意味着，不能随意地因为觉得律师不负责任就要求退还律师费，一定要根据具体的情况进行具体的分析和判断，不能一概而论。
比如在一些简单的民事案件中，律师可能因为一些小的疏忽而被委托人认为不负责任，但如果这种疏忽并没有对案件结果产生实质性的影响，那么法院可能就不会支持退费的请求；
而在一些重大的刑事案件中，律师如果因为严重的失职导致委托人的合法权益受到极大损害，那法院就可能会根据实际情况来决定是否退费以及退费的比例。