孩子给男方能不能要回抚养权要看是否更有利于孩子健康成长。父母双方都有抚养和教育孩子的义务，都有权利争取孩子的抚养权，不会因为离婚等原因而消除。法律规定孩子在两周岁以下的，一般由母亲抚养，两周岁以上的孩子，以更有利于孩子身心健康成长为前提根据双方抚养能力和抚养条件判定抚养权归属。法律规定一方如果有严重疾病、吸毒、家暴、虐待儿童等不利于孩子身心健康成长的，另一方要求变更孩子抚养权应给予支持。

《最高人民法院关于适用<中华人民共和国民法典>婚姻家庭编的解释(一)》第五十六条?具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：
(一)与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女;
(二)与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响;
(三)已满八周岁的子女，愿随另一方生活，该方又有抚养能力;
(四)有其他正当理由需要变更。