虐待遺棄家庭成員要受到治安處罰，會被處5日以下拘留或者警告；如果虐待或者遺棄情節惡劣的會構成遺棄罪，此時會受到刑事處罰，行為人會被處五年以下有期徒刑、拘役或者管制。【法律依據】《刑法》第二百六十一條，對于年老、年幼、患病或者其他沒有獨立生活能力的人，負有扶養義務而拒絕扶養，情節惡劣的，處五年以下有期徒刑、拘役或者管制。《治安管理處罰法》第四十五條，有下列行為之一的，處5日以下拘留或者警告：（一）虐待家庭成員，被虐待人要求處理的；（二）遺棄沒有獨立生活能力的被扶養人的。