在建设用地上建立工厂的行为，在法律层面上是被视为非法的。

首先，我国政府依法制定了土地利用的总括性规划，明确规定了不同土地类型的用途，将全国范围内的土地划分为农业用地、建设用地以及尚未开发利用的闲置土地三大类。

其次，政府采取了严格的措施来限制农用地向建设用地的转换，同时严格把控建设用地的总体规模，尤其对我们国家的基本农田给予特别的关注和保护，以确保粮食安全。

最后，任何个人或组织都无权擅自在未经相关部门批准的情况下，在土地上进行房屋的建设活动，因为这种未经许可的建筑行为会被认定为违章建筑，相关部门有权对其进行强制性的拆除处理。

《土地管理法》第四条

国家编制土地利用总体规划，规定土地用途，将土地分为农用地、建设用地和未利用地。

严格限制农用地转为建设用地，控制建设用地总量，对耕地实行特殊保护。

前款所称农用地是指直接用于农业生产的土地，包括耕地、林地、草地、农田水利用地、养殖水面等；

建设用地是指建造建筑物、构筑物的土地，包括城乡住宅和公共设施用地、工矿用地、交通水利设施用地、旅游用地、军事设施用地等；

未利用地是指农用地和建设用地以外的土地。

使用土地的单位和个人必须严格按照土地利用总体规划确定的用途使用土地。