与残疾人士解除婚姻关系并不构成法律上的遗弃行为。
所谓“遗弃罪”，系源于负有特定扶助义务的个人，对于年迈、未成年抑或身患疾病且缺乏独立谋生能力之人拒绝承担抚养责任，且情节极其严重者。
然对于身体健康的成年人同残障人士之间的婚姻抉择，法律未有限制。
然而，在离婚诉讼过程中，法院可能会根据残障人士的真实境况，对涉及财产分配的问题给予更为周全的关注，将更多的权益倾向于经济状况较为困顿的一方当事人。

《民法典》第一千零七十九条
夫妻一方要求离婚的，可以由有关组织进行调解或者直接向人民法院提起离婚诉讼。
人民法院审理离婚案件，应当进行调解；如果感情确已破裂，调解无效的，应当准予离婚。
有下列情形之一，调解无效的，应当准予离婚：
（一）重婚或者与他人同居；
（二）实施家庭暴力或者虐待、遗弃家庭成员；
（三）有赌博、吸毒等恶习屡教不改；
（四）因感情不和分居满二年；
（五）其他导致夫妻感情破裂的情形。
一方被宣告失踪，另一方提起离婚诉讼的，应当准予离婚。
经人民法院判决不准离婚后，双方又分居满一年，一方再次提起离婚诉讼的，应当准予离婚。