买卖双方协议解除合同不退中介费。因为中介方已经按照中介服务合同的约定履行了自己的主要义务。如果因为买方的原因导致合同解除的，中介费由买方承担。如果因为卖方的原因导致合同解除的，中介费由卖方承担。

法律依据：

《民法典》第五百七十七条

当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。

一、签了购房合同后不想买了咋办

签了购房合同后不想买了，可以尝试与卖方协商。如果对方不同意解除合同，买方可以不购买该房屋。但不具有法定或约定的解除合同的情形，此时必须按照合同约定承担违约责任。

根据《民法典》第五百六十二条的规定，当事人协商一致，可以解除合同。

当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。

第五百七十七条规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。

二、只签了居间合同毁约中介费要付吗

签了居间合同毁约，是否要付中介费需根据违约行为分析，有可能要承担继续履行的违约责任。

《民法典》

第五百七十七条【违约责任】当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。