旅行社对年老、年幼等特殊人群增加费用，是不合法的。《最高人民法院关于审理旅游纠纷案件适用法律若干问题的规定》第二十三条旅游者要求旅游经营者返还下列费用的，人民法院应予支持。

(一)因拒绝旅游经营者安排的购物活动或者另行付费的项目被增收的费用；

(二)在同一旅游行程中，旅游经营者提供相同服务，因旅游者的年龄、职业等差异而增收的费用；

老年人在旅游时享受的是同等的旅程与服务，以照顾为由的增加费用消费者是有权要求返还的。