房子被霸占是否要追究刑事责任，需依据具体情形来判断，以下为你详细说明：
一、一般民事纠纷情况
在某些情形下，霸占行为属于普通的民事侵权行为。
这种情况在生活中并不少见，可能是邻里之间因为一些矛盾，一方私自占用另一方的房屋。
这种霸占行为通常属于民事纠纷的范畴。
此时，房屋的权利人可以通过民事诉讼的方式来维护自己的权益。
具体来说，权利人可以要求对方停止对房屋的侵害行为，让对方排除对自己使用房屋造成的妨碍，同时要求对方返还被霸占的房屋。
而且，如果因为房屋被霸占而遭受了经济损失，权利人还可以要求对方进行相应的赔偿。
二、可能构成犯罪的情况
若霸占者采取暴力、威胁等手段强行进入他人住宅或者强行在他人住宅内滞留，那就可能涉嫌非法侵入住宅罪。
根据《刑法》的相关规定，非法侵入他人住宅的，会被处三年以下有期徒刑或者拘役。
总之，单纯的霸占房屋行为多数情况下会先按照民事纠纷来处理。
但要是存在特定的暴力、威胁等违法犯罪情节，那么就有可能需要追究刑事责任。

案情回顾:

小朱外出务工期间，邻居小李因建房纠纷，未经许可擅自霸占了小朱的房屋。小朱回来后要求小李搬离，小李拒绝并言语威胁小朱。争议点在于小李的霸占行为是普通民事纠纷还是构成犯罪。

案情分析:

1、起初小李未经许可霸占小朱房屋，属于普通民事侵权行为。小朱作为房屋权利人，可通过民事诉讼要求小李停止侵害、排除妨碍、返还房屋，若有经济损失还可要求赔偿。
2、后来小李言语威胁小朱，其采取威胁手段强行霸占房屋的行为可能涉嫌非法侵入住宅罪，依据《刑法》规定，或会被处三年以下有期徒刑或者拘役。