可以。房屋托管合同属于委托合同，受托人或者委托人可以随时解除该合同。因解除合同造成对方损失的，除不可归责于该当事人的事由外，无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失，有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益。

一、签过委托书当事人可以反悔吗

签过委托书当事人可以反悔。当事人可以随时终止委托关系，但是要根据委托合同中的违约条款支付相应的报酬。根据相关法律规定，受托人完成委托事务的，委托人应当按照约定向其支付报酬。因不可归责于受托人的事由，委托合同解除或者委托事务不能完成的，委托人应当向受托人支付相应的报酬。当事人另有约定的，按照其约定。

二、受委托委托方反悔违约金如何应对

1、受托人可以和委托人约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。

2、因不可归责于受托人的事由，委托合同解除或者委托事务不能完成的，委托人应当向受托人支付相应的报酬。当事人另有约定的，按照其约定。

三、被授权人要负法律责任吗

如果是有偿的委托合同，因被授权人的过错给委托人造成损失的需要承担赔偿责任，如果是无偿的委托合同，因被授权人故意或者重大过失给委托人造成损失的需要承担民事赔偿责任。

《中华人民共和国民法典》第九百二十九条规定，有偿的委托合同，因受托人的过错造成委托人损失的，委托人可以请求赔偿损失。无偿的委托合同，因受托人的故意或者重大过失造成委托人损失的，委托人可以请求赔偿损失。

受托人超越权限造成委托人损失的，应当赔偿损失。