总体上来说，换不换律师需否承担违约责任主要还是取决于您与律所签订的委托代理协议中所包含的具体约定。
假如合同中已经明文规定了在某些特定条件发生时，委托人必须对更换律师的行为支付违约金，并且您的行为正好符合了这些设定的条件，那么这时候就很有可能会面临一定的赔偿责任。
然而，若合同里并未对此类情况做出任何约定，或是您决定更换律师是出于合法且无可争议的理由，例如该律师在执业过程中出现了重大过失或严重违反了职业道德规范等等，那么一般来讲，您就不需要为此支付任何形式的违约金。
总的来说，具体的责任认定还是应该依据于您与律师之间签署的那份委托代理协议以及实际发生的所有情况而作出判断。
因此，我强烈建议您花费时间耐心地阅读一遍委托代理协议中的每一项条款内容，同时也务必与原来选定的那位律师进行充分的沟通与交流，争取达成双方都能接受的解决方案来妥善处理这次更换律师的事情。