夫妻有互相扶养的义务。在没有离婚的情况下，如果男方不负责，没有按规定履行相应的责任的，那么也是可以去起诉对方有遗弃的行为的，只要满足了遗弃的构成要件，且有充分的证据证明，然后通过合法的方式，所以就可以到法院进行起诉维护自己的合法权益。

遗弃，是指家庭成员中负有赡养、扶养、抚养义务的一方，对需要赡养、扶养和抚养的另一方，不履行其应尽的义务的违法行为。如父母不抚养未成年子女。成年子女不赡养无劳动能力或生活困难的父母。配偶不履行扶养对方的义务等。遗弃以不作为的形式出现，该为而不为，致使被遗弃人的权益受到侵害。

遗弃罪，是指对于老年、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。

法律依据：

《中华人民共和国刑法》第二百六十一条

对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。

一、遗弃罪需要什么证据

遗弃罪一般情况下属于自诉案件，当事人可以自己收集证据，形成证据链，然后直接向法院提起诉讼。如果要起诉遗弃罪，一般需要证明对方具有抚养能力而不履行义务，而且构成遗弃罪需要因为对方没有尽抚养义务造成了严重后果，毕竟会受到刑法处罚，刑罚作为一种比较严苛的处罚，所以对于构成犯罪都具有较为严格的要求。所以需要搜集的证据主要有：

1、遗弃者有义务、能力对被遗弃者进行抚养的证明；

2、遗弃者在多长的时间内没有尽任何的抚养义务；

3、未抚养造成的后果。

遗弃的行为并不一定会涉及到遗弃罪，但这并不代表这我们可以进行遗弃，遗弃的行为就算没有到达遗弃罪的标准也是需要受到道德上的谴责的。