买的衣服不能退只能换是不合理的。消费者可以和商家协商退货退款。如果协商不成，可以向消费者协会投诉。法律规定，经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。

《消费者权益保护法》第二十四条

经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。没有国家规定和当事人约定的，消费者可以自收到商品之日起七日内退货；七日后符合法定解除合同条件的，消费者可以及时退货，不符合法定解除合同条件的，可以要求经营者履行更换、修理等义务。

依照前款规定进行退货、更换、修理的，经营者应当承担运输等必要费用。