这主要是与物权保护相关的一类问题。
首先，你得先给对方发一份书面通知，在通知里明确地要求对方搬离这个地方，并且要清清楚楚地告诉对方，他的这种行为已经构成了侵权行为，以及他可能会面临什么样的法律后果。
要是对方收到通知之后还是不搬离，那你就可以去法院提起诉讼。
在诉讼的时候，你要向法院请求判令对方搬离那个厂房，同时还要让对方赔偿因为他占用厂房而给你造成的损失。
在整个诉讼过程中，你得准备好厂房的产权证明等相关的证据，用这些证据来证明你对这个厂房是拥有合法占有权的。
而且，法院也可能会根据具体的情况采取一些相应的强制措施，比如说查封这个厂房之类的，这样就能更好地确保判决能够得到执行。
总之，遇到这种情况一定要及时地采取法律手段，只有这样才能更好地维护好自己的合法权益。