对方残疾双方可以通过协议和诉讼的方式离婚。双方如果能协议一致，可以办理协议离婚；如果协议不成，可以向法院起诉，由法院进行判决。一方残疾不影响双方离婚的自由，但是夫妻双方有相互扶持的义务，离婚时如果一方生活困难，有负担能力的另一方应当给予适当帮助。具体帮助办法由双方协议；协议不成的，由人民法院判决。

法律依据，《中华人民共和国民法典》第一千零七十六条

夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。

离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。

精神残疾离婚流程

双方经过协商就孩子的抚养、财产的分割、债权债务的处理等事宜达成一致意见并签署书面离婚协议后，携带本人的户口簿、身份证、本人的结婚证以及前述离婚协议书，共同到一方当事人常住户口所在地的婚姻登记机关办理离婚登记手续并领取离婚证。如协商不成或者任何一方都不愿意协商，坚持离婚的一方可持诉状、结婚证、本人身份证、未成年孩子的户口或者出生医学证明以及其他诸如可以证明属于夫妻共有财产的房产证、车辆登记证书等证据起诉到居住地法院，要求法院判决离婚。