通常情况下，要求违背房屋买卖合同的买方退还定金是不被允许的。这主要源于我国法律对于定金所做出的明确规定，具体内容如下：在债务人完全履行了其应尽的义务后，定金应当被视为支付的价格款项或予以回收。如果给予定金的一方未能履行自身职责，或者履行义务与事先商定存在不符，以至于使得合同最终无法实现，那么他将失去向接受定金的对方提出返还定金的权利；反之，若接受定金的一方未能履行自身职责，或者履行义务与事先商定存在不符，以至于使得合同最终无法实现，那么他必须向给予定金的对方双倍返还定金。

《民法典》第五百八十七条债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。