对于违法建设的养殖棚，政府有权拆除。如果是合法建设的养殖棚，政府自然无权拆除，不然会影响到农民的正常农业生产生活。而违法建设的养殖棚，应当拆除。先通知所有人自行拆除，不自拆的，由行政机关强行拆除。

《中华人民共和国行政强制法》第四十四条

对违法的建筑物、构筑物、设施等需要强制拆除的，应当由行政机关予以公告，限期当事人自行拆除。当事人在法定期限内不申请行政复议或者提起行政诉讼，又不拆除的，行政机关可以依法强制拆除。