如果是银行原因，可以退钱。购房者可以和卖家协商解除购房合同，并且不必承担违约责任，卖家应该无条件退还购房首付；如果是因为购房者自身原因，比如征信记录有污点或者还款能力不够而影响贷款审批，在这种情况下，购房者需要承担违约责任，支付违约金给卖家，同时卖家应该返还首付款。

《个人贷款管理暂行办法》第五条

贷款人应建立有效的个人贷款全流程管理机制，制订贷款管理制度及每一贷款品种的操作规程，明确相应贷款对象和范围，实施差别风险管理，建立贷款各操作环节的考核和问责机制。