可以以对方犯遗弃罪，直接向法院起诉对方，但是最好还是先向公安机关报警。

遗弃罪构成要件，客体要件本罪侵犯的客体是被害人在家庭成员中的平等权利。对象只限于年老、年幼、患病或者其他没有独立生活能力的家庭成员。我国民法典明确规定：“禁止家庭成员间的虐待和遗弃。”并对家庭成员之间应履行的扶养义务作了规定。有负担能力而拒不履行扶养义务，就侵犯了年老、年幼、患病或者没有独立生活能力的人在家庭中的平等权利。遗弃行为往往给被害人的生命、健康造成威胁，为舆论所不齿，也影响社会的安定团结。因此，同遗弃的犯罪行为作斗争，有助于造成一个少有所养，老有所依的良好的社会环境，有助于保护妇女、特别是儿童和老人的合法权益。

一、遗弃罪的对象有哪些人

本罪在客观方面表现为年老、年幼、患病或者其他没有独立生活能力的家庭成员，应当扶养而拒不扶养，情节恶劣的行为。所谓年老、年幼、患病或者其他没有独立生活能力的家庭成员，是指家庭成员中具有以下几种情况的人：

1、因年老、伤残、疾病等原因，丧失劳动能力，没有生活来源；

2、虽有生活来源，但因病、老、伤残，生活不能自理的；

3、因年幼或智力低下等原因，没有独立生活能力的。

二、什么是遗弃罪

遗弃罪是指负有扶养义务的人，对年老、年幼、患病或者其他没有独立生活能力的人拒绝扶养，情节恶劣的行为。中国刑法中妨害婚姻家庭罪的一种。主要特征是：（1）侵犯的客体是被害人在家庭中的平等权利。（2）在客观上表现为行为人对因年老、年幼、患病或其他原因而没有生活来源或没有独立生活能力的家庭成员，应当扶养而拒绝扶养的行为。扶养包括长辈对晚辈的抚养、晚辈对长辈的赡养以及夫妻之间的扶养。（3）犯罪主体是对被遗弃者负有法律上的扶养义务的人。（4）主观方面是故意，即明知自己应当履行扶养义务。拒绝扶养的动机是多种多样的，但犯罪动机的不同不影响定罪，可作为量刑时考虑的情节。