离婚主要有协议离婚和诉讼离婚这两种方式。
在协议离婚方面，当双方决定结束婚姻关系时，必须一同前往婚姻登记机关办理相关手续。
这就像是两个人要一起完成一项重要的任务，缺一不可。
如果男方不愿意回去，那么就缺少了他的参与，通常情况下是无法直接办理协议离婚的。
这就好比一座桥梁缺少了一块重要的基石，难以顺利搭建起来。
而诉讼离婚则是由一方主动提起，向法院提交起诉状等一系列相关材料。
法院会依据这些材料和具体的案件情况进行认真的审理和公正的判决。
在诉讼过程中，如果男方经合法的传唤后仍然拒绝到庭，法院可能会进行缺席判决。
但这并不意味着离婚就一定会被批准，法院依然会严格依据法律规定以及案件的具体情况来作出最终的裁决。
就好像一场法庭辩论，即使一方缺席，法官也会根据已有的证据和法律原则来进行合理的判断。
总之，离婚时男方不回去，在不同的离婚方式下会有不同的处理方式和结果，这一切都要根据实际的法律规定和案件的真实情况来确定，不能一概而论。