可以不是多人的。

依据我国法律的规定，聚众斗殴罪并不一定要双方都聚众，一方有聚众斗殴的行为时，也会构成聚众斗殴罪。

聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制。

《刑法》第二百九十二条

聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制；

有下列情形之一的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑：

（一）多次聚众斗殴的；

（二）聚众斗殴人数多，规模大，社会影响恶劣的；

（三）在公共场所或者交通要道聚众斗殴，造成社会秩序严重混乱的；

（四）持械聚众斗殴的。

聚众斗殴，致人重伤、死亡的，依照本法第二百三十四条

、第二百三十二条

的规定定罪处罚。