不能随意解除，遗赠扶养协议是一种平等、有偿和互为权利义务关系的民事法律关系，解除遗赠扶养协议的条件

1、双方协商同意，致协议解除。

如果遗赠扶养协议当事人一方的情况发生变化(包括遗赠人另有亲属扶养或扶养人丧失扶养能力)，一方当事人有正当理由，可以要求双方协商解除协议。

如系遗赠人提出解除协议的，遗赠人应对扶养人已尽的义务在经济上给予适当补偿；如系扶养人提出解除协议的，遗赠人一般不给予扶养人经济补偿。

2、一方无正当理由不履行，致协议解除。

扶养人或集体组织与公民订有遗赠扶养协议，扶养人或集体组织无正当理由不履行，致协议解除的，不能享有受遗赠的权利，其支付的供养费一般不予补偿。

遗赠人无正当理由不履行，致协议解除的，则应偿还扶养人或集体组织已支付的供养费用。

一、签遗赠抚养协议有哪些注意事项？

1、扶养主体必须是法定继承人以外的公民或集体组织。被扶养人可以与公民签订遗赠扶养协议，也可以与集体组织签订遗赠扶养协议。

2、内容应明确具体写出遗赠扶养双方各自的权利义务。

1)扶养人承担该公民生养死葬的义务，享有受遗赠的权利；公民应将个人所有的合法财产赠送给扶养人。

2)扶养人或集体组织无正当理由不履行，致协议解除的，不能享有受遗赠的权利，其支付的供养费用一般不予补偿；遗赠人无正当理由不履行，致协议解除的，则应偿还扶养人或集体组织已支付的供养费用。

3、遗赠内容应写明遗赠财产的名称、数量、处所，并提供有效的证明文件。

4、扶养内容应写明提供扶养具体内容、办法和期限。

其实社会生活中任何的书面协议都不存在着可以随时解除的这种情形，如果签了协议都可以无缘无故的随时解除，那也就没有签协议的必要性了。对于遗赠人和抚养人来讲，没有考虑清楚的情况下就不要签遗赠抚养协议了。