根据法律规定，离婚后双方仍有抚养、教育子女的权利和义务，不直接抚养子女的一方需要支付抚养费，抚养费的多少由双方协议。
夫妻离婚时，即便达成协议，约定子女由一方抚养，另一方不支付子女抚养费，但这并不妨碍直接抚养子女的一方在必要时要求对方给予抚养费。
因此，离婚时如果子女归男方，女方需要支付抚养费。

《民法典》第1085条规定：
离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。
负担费用的多少和期限的长短，由双方协议；
协议不成的，由人民法院判决。