委托方可以随时解除合同，没有条件限制。

根据《民法典》第九百一十九条规定，委托合同是委托人和受托人约定，由受托人处理委托人事务的合同。

第九百三十三条规定，委托人或者受托人可以随时解除委托合同。因解除合同造成对方损失的，除不可归责于该当事人的事由外，无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失，有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益。

一、委托合同受托人的损害赔偿怎么承担

因不可归责于受托人的事由，委托合同解除或者委托事务不能完成的，委托人应当向受托人支付相应的报酬。当事人另有约定的，按照其约定。

受托人处理委托事务时，因不可归责于自己的事由受到损失的，可以向委托人请求赔偿损失。

委托人经受托人同意，可以在受托人之外委托第三人处理委托事务。因此造成受托人损失的，受托人可以向委托人请求赔偿损失。

二、受托人造成委托人损失怎么赔偿

受托人造成委托人损失在有偿的委托合同中，受托人在处理委托事务时只要有过错，并给委托人造成损失，就要承担赔偿责任。

在无偿的委托合同中，受托人在一般过失下并不承担赔偿责任，只是在故意和重大过失的情况下，才对损害承担赔偿责任。