单纯的将人聚集起来的不算违法，将多人聚集起来聚众进行违法活动才是违法的，但此时违不违法至于聚众实施的活动是否违法有关系；
与聚众了多少人没有关系。比如聚众进行斗殴的，即使仅聚集了三个人也是违法的，甚至会构成犯罪。

《刑法》第二百九十二条
聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制；
有下列情形之一的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑：
（一）多次聚众斗殴的；
（二）聚众斗殴人数多，规模大，社会影响恶劣的；
（三）在公共场所或者交通要道聚众斗殴，造成社会秩序严重混乱的；
（四）持械聚众斗殴的。
聚众斗殴，致人重伤、死亡的，依照本法第二百三十四条、第二百三十二条的规定定罪处罚。