不强制设置安全生产管理机构的单位是矿山、金属冶炼、建筑施工、道路运输单位和危险物品的生产、经营以及储存单位。根据法律规定，矿山、金属冶炼、建筑施工、道路运输单位和危险物品的生产、经营、储存单位，应当设置安全生产管理机构或配备专职安全生产管理人员。

安全生产法规定什么部门按职责分工

我国《安全生产法》对于除了安全管理部门之外的部门都作出了按职责分工的相关规定。《安全生产法》规定，生产经营单位必须遵守本法和其他有关安全生产的法律、法规，加强安全生产管理，建立健全全员安全生产责任制和安全生产规章制度，加大对安全生产资金、物资、技术、人员的投入保障力度。

《中华人民共和国安全生产法》第二十四条

矿山、金属冶炼、建筑施工、运输单位和危险物品的生产、经营、储存、装卸单位，应当设置安全生产管理机构或者配备专职安全生产管理人员。

前款规定以外的其他生产经营单位，从业人员超过一百人的，应当设置安全生产管理机构或者配备专职安全生产管理人员；从业人员在一百人以下的，应当配备专职或者兼职的安全生产管理人员。