委托人可以通过解除委托合同协议书与律师解除委托关系。根据规定，委托人或者受托人可以随时解除委托合同。因解除合同造成对方损失的，除不可归责于该当事人的事由外，无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失，有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益。

委托人可以拒绝已委托的律师为其继续辩护或者代理，同时可以另行委托律师担任辩护人或者代理人。

一、被委托人在什么情况下需要负法律责任

1．被委托人越权代理造成善意相对人损失。

2．有偿的委托合同，因受托人的过错造成委托人损失的，委托人可以请求赔偿损失。无偿的委托合同，因受托人的故意或者重大过失造成委托人损失的，委托人可以请求赔偿损失。受托人超越权限造成委托人损失的，应当赔偿损失。

3．委托人或者受托人可以随时解除委托合同。因解除合同造成对方损失的，除不可归责于该当事人的事由外，无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失，有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益。

法律依据：根据《民法典》第一百七十一条【无权代理】行为人没有代理权、超越代理权或者代理权终止后，仍然实施代理行为，未经被代理人追认的，对被代理人不发生效力。

二、委托人可以终止委托吗

委托人可以随时终止委托。如果委托合同的一方当事人解除委托合同而造成对方损失的，应当承担赔偿责任。

如果受托人处理事务不尽注意义务，怠于委托事务的处理，委托人无奈而解除委托合同，虽会给受托人造成一定损失；

但因解除合同事由不可归责于委托人或者不能完全归责于委托人，委托人对受托人因合同终止而遭受的损失不予赔偿或者只赔偿其部分损失。