可以由老人到法院起诉、法院进行调解或者判决,或者请民间组织调解。

法律依据是《老年人权益保障法》第三条国家保障老年人依法享有的权益。

老年人有从国家和社会获得物质帮助的权利，有享受社会服务和社会优待的权利，有参与社会发展和共享发展成果的权利。

禁止歧视、侮辱、虐待或者遗弃老年人。

《中华人民共和国民法典》第一千零六十七条父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。

第一千零七十四条：有负担能力的祖父母、外祖父母，对于父母已经死亡或者父母无力抚养的未成年孙子女、外孙子女，有抚养的义务。有负担能力的孙子女、外孙子女，对于子女已经死亡或者子女无力赡养的祖父母、外祖父母，有赡养的义务。

《中华人民共和国刑法》第二百六十一条，对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。

如果子女对老人的遗弃，虐待行为轻微，尚未达到犯罪的程度，可以以治安管理处罚法进行处罚，追究法律责任。