在起诉离婚之后，对于对方是否要回来住这件事，得依据具体的情形去判别。
要是离婚的判决里面压根没提及房屋到底归谁所有，还有居住权之类的问题，那对方凭借着之前的居住关系，说要住在这里，通常是不能直接就给拒绝掉的。
不过，你可以跟对方好好商量一下居住的安排，还有居住的期限之类的。
要是房屋已经判定给你，而对方又没有合法的居住依据，那你就有权利要求对方搬离这里。
要是对方不搬，你就可以向法院申请强制执行，让对方把东西收拾好搬离，并且让对方承担相应的费用。
要是对方做出了一些恶意骚扰你的行为，严重影响到了你正常的生活，那你就可以向公安机关报案，让公安机关去制止对方的这种行为。
总之，不管怎样，都得按照具体的法律规定以及实际的情况来处理，这样才能更好地维护好自己的合法权益。