从法律角度讲，按揭买房者要退房的情况下，存在两种法律关系，一种是购房者和开发商之间的买卖合同关系，购房者作为买卖合同的一方，可以依据相关法律规定行使合同解除权；另一种关系是按揭买房者和银行之间的关系，按揭买房者在买房之初只是向开发商支付了首付款，剩余部分由购房者用所购房屋在银行贷款支付给开发商。那么，退房时已按揭的贷款谁来还？首先由于购房合同被解除，开发商从购房者处取得的所有购房款项均应返还购房者。购房者申请的银行按揭贷款，也是购房款的一部分，也应一并返还给购房者。然后，购房者应依据《贷款通则》第三十二条第五款：借款人提前归还贷款，应当与银行协商，将剩余贷款本息提前还给银行。一般在顺利的情况下双方是可以按照上述方法处理按揭买房退房纠纷中的法律关系。

但是，在实践中，能够按照上述方法处理退房纠纷的是少之又少。陕西省富平县人民法院在2016年受理一起按揭买房退房案件，原告只起诉开发商要求退房，但对于购房中在银行的贷款，案件并未涉及。但是本案存在的现实情况是，如果依法判令开发商向购房者退还房款，解除双方的买卖合同关系，势必会是一方利息受损。因为购房者除过首付款的部分剩余购房款是用所购房屋抵押在银行抵押贷款，如果解除购房者和开发商之间的买卖合同，退还购房者全部购房款，若购房者不归还银行贷款，银行只能行使其对房屋的抵押权，如此开发商的定然不会同意。因此在处理按揭买房退房纠纷的时候，一定要考虑到上述情况，否则会造成案件的处理结果达不到法律效果和社会效果的统一。所以，在处理上述案件时候，应该让开发商将将退购房款分为两部分，其中属于购房者首付款的部分直接退还给购房者。属于购房者向银行借款的部分直接交还给银行，并视为购房者已向银行提前还款。我国中国人民银行《个人住房贷款管理办法》第30条规定：抵押人或出质人按合同规定偿还全部贷款后，抵押物或质物返还抵押人或出质人，借款合同终止。这样处理才能达到各方利益的平衡，是案件的处理结果达到法律效果与社会效果的统一。