1.当离婚时房子的归属确定为女方时，通常来讲，男方是没有权利直接回到该房屋中居住的。
这是因为房产的所有权已经归属于女方，女方依法享有对房屋的占有、使用、收益以及处分等各项权利。
2.从法律和产权的角度来看，女方对房屋拥有完全的支配权。
她可以决定自己是否让他人居住在该房屋内，以及允许谁居住等。
3.然而，如果男方确实没有其他的住所，并且暂时居住存在困难，女方出于人道主义等方面的考虑，可能会允许男方居住在该房屋中。
但需要明确的是，这是女方的一种权利处分行为，而不是男方的法定权利。
也就是说，女方有权随时改变这种允许居住的决定。
4.倘若女方要求男方搬离房屋，而男方拒绝搬离，女方可以通过法律诉讼等途径来维护自己对房屋的所有权。
法院会根据具体情况作出判决，要求男方搬离房屋，以确保女方的合法权益不受侵犯。
5.综上所述，在房产已经归属于女方的情况下，一般情况下男方是没有权利随意回到该房屋中居住的。
只有在女方同意或者存在特殊情况的条件下，男方才可能获得在该房屋中居住的许可。
女方应充分行使自己的权利，维护自身的合法权益。
案情回顾:
小朱和小李离婚，房子归属小李。小朱没有其他住所且居住困难，小李出于人道主义让小朱居住。之后小李要求小朱搬离，小朱拒绝。双方产生争议，小李欲通过法律途径维护自己权益。
案情分析:
1、房子归小李，她依法拥有房屋支配权。
2、小朱无其他住所只是居住困难，这不是法定居住理由，小李有权让其搬离，若小朱拒绝，小李可诉讼，法院会保障小李的房屋所有权。