虐待遗弃家庭成员要受到治安处罚，会被处5日以下拘留或者警告，但是虐待或者遗弃情节恶劣的会构成遗弃罪，此时会受到刑事处罚，依法追究其刑事责任。
我国法律规定虐待家庭成员，情节恶劣的，处二年以下有期徒刑、拘役或者管制。犯前款罪，致使被害人重伤、死亡的，处二年以上七年以下有期徒刑。对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。

《中华人民共和国治安管理处罚法》第四十五条
有下列行为之一的，处五日以下拘留或者警告：
（一）虐待家庭成员，被虐待人要求处理的；
（二）遗弃没有独立生活能力的被扶养人的。
《刑法》第二百六十条
虐待家庭成员，情节恶劣的，处二年以下有期徒刑、拘役或者管制。
犯前款罪，致使被害人重伤、死亡的，处二年以上七年以下有期徒刑。
第一款罪，告诉的才处理，但被害人没有能力告诉，或者因受到强制、威吓无法告诉的除外。
《刑法》第二百六十一条
对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。