如果在租房时，承租人违约的，不能要求出租人返还定金；出租人违约的，承租人可以要求对方双倍返还。

所谓定金，是指合同当事人为了确保合同的履行，依据法律规定或者当事人双方的约定，由当事人一方在合同订立时或者订立后履行前，按照合同标的额的一定比例(不超过20%)，预先给付对方当事人的金钱或其替代物。它是作为债权担保的一定数额的货币，它属于一种法律上的担保方式，目的在于促使债务人履行债务，保障债权人的债权得以实现。

《民法典》第五百八十七条【定金罚则】债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。

签合同时，对定金必需以书面形式进行约定，同时还应约定定金的数额和交付期限。给付定金一方如果不履行债务，无权要求另一方返还定金；接受定金的一方如果不履行债务，需向另一方双倍返还债务。债务人履行债务后，依照约定，定金应抵作价款或者收回。

因此，如果在租房时，承租人违约的，不能要求出租人返还定金；出租人违约的，承租人可以要求对方双倍返还。