在法律层面上，与残障人士解除婚姻关系并不等同于遗弃行为。
遗弃罪是指那些在法律规定下负有赡养责任的个体，对于老年、未成年、身患疾病或无法独自生活的群体，有意或无意地不提供必要的支持与关怀，而且此类行为情节恶劣。
然而，对于健全公民与失去自理能力的残障人士之间的离婚问题，并无明确的法律限制，但在处理此种情形的离婚案件中，法院将充分考虑残障人身心状况的特殊性，给予他们充分的关注和关照，尤其在财产分配方面，更倾向于偏袒生活更为艰辛的那一方。

《中华人民共和国刑法》对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。