不算违约，可以随时解除委托合同。但是如果给对方造成损失的应当赔偿损失。

一、单方解除合同具体需要承担哪些违约责任

当事人一方不履行合同义务或者履行合同义务不符合约定，给对方造成损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益；

但不得超过违反合同一方订立合同时预见到或者应当预见到的因违反合同可能造成的损失。因此，单方解除合同可能会承担赔偿损失的责任和支付违约金的责任。

二、不解除合同能不能要求违约损失

不解除合同能不能要求违约损失。所谓违约损失，是指违约方因不履行或不完全履行合同义务而给对方造成损失的损害赔偿责任。违约损失是约定的，解除合同具有消除合同效力的法律后果。当一方违约导致合同终止时，另一方应要求违约方赔偿损失，因为违约损失的主要作用是制裁违约，以保证债务履行。合同终止是由一方违约造成的，应当通过赔偿损失的方式对这种过错行为进行制裁。

三、委托人可以随时解除委托合同吗

委托人可以随时解除委托合同。因解除合同给对方造成损失的，除不归责于当事人的原因外，应当赔偿损失。无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失，有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益。委托合同是双方信任存在的条件。一方不守信用，不信任对方的，不需要继续履行合同；法律赋予双方权利，即只要一方想终止合同，就可以随时解除合同，不需要任何理由。