和残疾人离婚不算遗弃罪。法律规定，遗弃罪是指负有扶养义务的人，对年老、年幼、患病或者其他没有独立生活能力的人实施拒绝扶养，情节恶劣，从而构成的犯罪。而我国公民依法享有婚姻自由，包括结婚自由和离婚自由，所以只要当事人没有在离婚前实施上述行为，那么其就可以以夫妻感情破裂为由与残疾人离婚。

一、遗弃罪是指什么意思

遗弃罪是指对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。根据法律规定，对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。

遗弃行为必须达到情节恶劣程度的，才构成犯罪。也就是说，情节是否恶劣是区分遗弃罪与非罪的一个重要界限。

符合遗弃罪的构成要件：

1、侵犯的客体是被害人在家庭成员中的平等权利。对象只限于年老、年幼、患病或者其他没有独立生活能力的家庭成员；

2、在客观方面表现为年老、年幼、患病或者其他没有独立生活能力的家庭成员，应当扶养而拒不扶养，情节恶劣的行为；

3、主体为特殊主体，必须是对被遗弃者负有法律上的扶养义务而且具有抚养能力的人；

4、在主观方面表现为故意。