离婚时双方约定了房屋的归属，明确由一方所有，而另一方则负有配合办理过户手续的义务。
假如男方始终不去办理过户事宜，首先你应当积极与他进行协商，诚恳地要求他履行自己的义务，毕竟通过友好沟通解决问题是较为理想的方式。
倘若协商无果，那么你就需要果断地向法院提起诉讼。
在诉讼过程中，你务必准备好离婚协议等相关证据，这些证据能够有力地证明房屋的归属情况以及男方应当履行的具体义务。
法院会依据相关的法律规定以及案件的具体实际情况作出公正的判决。
如果男方在判决之后仍然拒不履行义务，法院将会采取强制执行措施。
这意味着法院会动用法律的力量，强制要求男方办理房屋的过户手续，确保你的合法权益得到切实的维护。
总之，面对这种情况，你不能拖延，必须及时采取行动。
拖延只会让问题变得更加复杂，而及时行动则能够在最大程度上保障你的权益，让你能够顺利地获得房屋的所有权并完成过户手续。