不用赔付违约金。

出卖人迟延交付房屋或者买受人迟延支付购房款，经催告后在三个月的合理期限内仍未履行，当事人一方请求解除合同的，应予支持，但当事人另有约定的除外。

退房人退房行为是合法的，没有违约，不需要交违约金。

一、商品房买卖合同的解除事由

商品房买卖合同的法定解除事由：

1、根本违约：

①商品房买卖合同订立后，出卖人未告知买受人又将该房屋抵押给第三人；

②商品房买卖合同订立后，出卖人又将该房屋出卖给第三人；

③故意隐瞒所售房屋已经出卖给第三人或者为拆迁补偿安置房屋的事实；

④房屋主体结构质量不合格；

⑤房屋质量问题严重影响正常居住使用的。

2、迟延履行：

①出卖人迟延交付房屋或者买受人迟延支付购房款，经催告后在三个月的合理期限内仍未履行的；

②办理房屋所有权登记的期限届满后超过一年，由于出卖人的原因，导致买受人无法办理房屋所有权登记的。

3、其他解除情形：

①面积误差比绝对值超出3%；

②商品房买卖合同约定，买受人以担保贷款方式付款、因当事人一方原因未能订立商品房担保贷款合同并导致商品房买卖合同不能继续履行的。

二、卖方延期交房

卖方延期交房，作为买方可以要求按照合同支付违约金。如果买方催告后的三个月内，卖方仍然没有交房，那么可以解除购房合同。《最高人民法院关于审理商品房买卖合同纠纷案件适用法律若干问题的解释》规定，出卖人迟延交付房屋或者买受人迟延支付购房款，经催告后在三个月的合理期限内仍未履行，当事人一方请求解除合同的，应予支持，但当事人另有约定的除外。法律没有规定或者当事人没有约定，经对方当事人催告后，解除权行使的合理期限为三个月。对方当事人没有催告的，解除权应当在解除权发生之日起一年内行使；逾期不行使的，解除权消灭。

三、买方解除房屋买卖合同要哪些条件

买方解除房屋买卖合同的条件如下：

1、卖方擅自抵押，商品房买卖合同订立后，出卖人未告知买受人又将该房屋抵押给第三人;

2、一房两卖，商品房买卖合同订立后，出卖人又将该房屋出卖给第三人;

3、房屋主体结构质量不合格，因房屋主体结构质量不合格不能交付使用;房屋交付使用后，房屋主体结构质量经核验确属不合格;

4、房屋存在严重质量问题，因房屋质量问题严重影响正常居住使用;

5、房屋面积误差超过合理限度，出卖人交付使用的房屋套内建筑面积或者建筑面积与商品房买卖合同约定面积不符，面积误差比绝对值超出3%，但是买卖双方另有约定的除外;

6、出卖人迟延交付房屋，出卖人迟延交付房屋或者买受人迟延支付购房款，经催告后在三个月的合理期限内仍未履行。