男方的出轨行为不足以让其净身出户。根据我国法律规定，夫妻双方一方出轨的，因为该方出轨而导致夫妻双方离婚，出轨方会被认定为过错方。非过错方可以依法情况求法院判处过错方给付相应的离婚损害赔偿，但是不能要求对方净身出户。离婚时，夫妻的共同财产由双方协议处理；协议不成时，由人民法院根据财产的具体情况，以照顾子女和女方权益的原则来进行判决。

《中华人民共和国民法典》
第一千零九十一条有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚；
（二）与他人同居；
（三）实施家庭暴力；
（四）虐待、遗弃家庭成员；
（五）有其他重大过错。