可以的，若房屋发霉导致人无法入住等情况，则构成根本性违约，可以解除。但是，此时必须要证明，房屋发霉的程度已经达到无法正常居住的情形

一、己经交了首付要如何退房

己经交了首付想要退房的话可以看看买卖合同中是否有相关约定，即是否约定了购房人此时的解约权，或是与开发商协商解除买卖合同。如果购房人在付款等方面确实存在困难，通过与开发商友好协商，并支付一定的补偿金(包括开发商已经支付的印花税等费用)或违约金，一般开发商是可能同意解除买卖合同的等。

以下情况交了首付还可以退房：

1、延迟交房。指到了开发商与购房人在合同中约定的交房日后，却迟迟得不到开发商的入住通知。

2、规划变更。购房人在与开发商签订合同时一般都有约定，开发商必须征得购房人同意，否则开发商构成违约购房人有权退房。

3、房屋质量不合格。

4、房屋面积误差超出3%。

5、拿不到产权证。

6、开发商证件不全等。

二、开发商违约可以退房吗

开发商违约可以退房。根据《中华人民共和国民法典》的相关规定，若存在法定解除情况如当事人约定一方解除合同的事由或者双方协商一致时购买者可以退房。可以退房的情况如下：逾期交房超过一定期限的，房屋质量不符合合同约定标准，无法修复或修复也无法达到约定质量标准的，因开发人员的错误不能按合同取得房屋所有权证书的，面积误差比绝对值超过3%的，开发人员擅自变更计划设计。

三、商品房验房交付中应注意哪些法律问题

注意下列问题：1.购房者在没有验收房屋前，不能领取住宅钥匙，办理入住手续。2.验房时发现质量问题，若合同中明确约定交付的房屋达不到合同约定的质量标准，购房者有权拒绝接收房屋或解除合同。3.若合同中没有明确约定，商品房存在质量瑕疵确属主体结构质量不合格，导致无法实现合同目的的，买受人可以拒绝接收房屋。