可以要，夫妻离婚后的任何时间内，一方或双方的情况或抚养能力发生较大变化，均可提出变更子女抚养权的要求。变更子女抚养权一般先由双方协商确定，如协议不成，可通过诉讼请求人民法院判决变更。
关于孩子抚养权男方能否要回的问题，属于变更抚养权的情况，从法律支持变更抚养权的几种情况来看，如果女方无力继续抚养孩子、不尽抚养义务或有虐待行为、或者孩子超过十岁愿意随夫亲生活，包括女方重建家庭后又其他子女、而男方没有等情况，男方都可以申请要回抚养权。

《民法典》第一千零八十六条
离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。
行使探望权利的方式、时间由当事人协议；协议不成的，由人民法院判决。
父或者母探望子女，不利于子女身心健康的，由人民法院依法中止探望；中止的事由消失后，应当恢复探望。