依据我国刑法的规定，认定聚众斗殴罪时，是不需要双方有约定过程的，只要聚集了三人以上进行打架斗殴行为的，就可以认定为聚众斗殴罪。

《中华人民共和国刑法》

第二百九十二条【聚众斗殴罪】聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制;有下列情形之一的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑：

(一)多次聚众斗殴的;

(二)聚众斗殴人数多，规模大，社会影响恶劣的;

(三)在公共场所或者交通要道聚众斗殴，造成社会秩序严重混乱的;

(四)持械聚众斗殴的。

聚众斗殴，致人重伤、死亡的，依照本法第二百三十四条、第二百三十二条的规定定罪处罚。

一人打多人算聚众斗殴吗

聚众斗殴罪是指为了报复他人、争霸一方或者其他不正当目的，纠集众人成帮结伙地互相进行殴斗，破坏公共秩序的行为。聚众斗殴罪包括在社会公共生活中应当遵守的各项共同生活的规则、秩序，在实际生活中，聚众斗殴犯罪可以是在公共场所，例如在公园、影剧院中，也可以是发生在较僻静的私人场所。

依照浙江高级人民法院《关于审理聚众斗殴犯罪案件相关问题的纪要》的规定，《刑法》第二百九十二条的聚众斗殴，一般是指双方各纠集三人以上进行斗殴的行为。双方均只有二人以下的，不按聚众斗殴处理。一方在三人以上，一方只有二人以下的，对三人以上一方可按聚众斗殴处理，对二人以下一方可不以聚众斗殴论处，构成其他罪的以其他罪处理。一方虽只有二人以下，但明确与对方约定斗殴的，应按聚众斗殴处理。所以他们都构成聚众斗殴，而构成聚众斗殴并不一定需要双方都是三人以上。