解除律师委托不需要赔偿违约金。
违约解除的除外。
违约金的主要作用在于制裁违约行为以担保债务履行，在一方违约导致委托合同解除的情况下，法律允许另一方要求违约方支付违约金。
解除律师委托的方法：
1、拿着签订的委托代理协议去律师所，向律师所负责人反映情况，要求解除代理协议。
按照规定，如果不是因为律师的原因造成的，律师费是不退的。
但是委托人可以与律师所协商退费的问题。
在解除委托关系前，律师必须采取合理可行的措施保护委托人利益；
2、办理解除代理协议时，应该与律师事务所签定解除协议，取回留存在律师所得相关证据原件，并写好签收收条。
3、有偿的委托合同，因受托人的过错造成委托人损失的，委托人可以请求赔偿损失。
无偿的委托合同，因受托人的故意或者重大过失造成委托人损失的，委托人可以请求赔偿损失。
受托人超越权限造成委托人损失的，应当赔偿损失。
受托人处理委托事务时，因不可归责于自己的事由受到损失的，可以向委托人请求赔偿损失。

《中华人民共和国律师法》第三十二条委托人可以拒绝已委托的律师为其继续辩护或者代理，同时可以另行委托律师担任辩护人或者代理人。
律师接受委托后，无正当理由的，不得拒绝辩护或者代理。
但是，委托事项违法、委托人利用律师提供的服务从事违法活动或者委托人故意隐瞒与案件有关的重要事实的，律师有权拒绝辩护或者代理。