经营者不能不退。如果消费者买到了假冒伪劣商品经营者必须退。经营者和消费者有约定的，应当按照约定履行义务，但双方的约定不得违背法律、法规的规定。

《消费者权益保护法》第五十四条依法经有关行政部门认定为不合格的商品，消费者要求退货的，经营者应当负责退货。

第五十五条经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或者接受服务的费用的三倍；增加赔偿的金额不足五百元的，为五百元。法律另有规定的，依照其规定。