即：(1)权力机关。例如，它可用“撤销”行政机关的抽象行为之手段来追究有关行政机关的责任。

(2)行政机关。由行政机关追究行政责任的权限范围是相当广泛的，表现在上级行政机关有权追究下级行政机关或所属部门的行政责任，监督职能机关有权追究其他行政机关的行政责任，等等，而且适用多种责任形式。

(3)司法机关。例如，人民法院在司法审查的范围内有权通过裁判来追究行政主体的行政责任。

相关法律知识：

《中华人民共和国行政诉讼法》中有关内容的规定

第二十四条依照本法提起诉讼的公民、法人或者其他组织是原告。有权提起诉讼的公民死亡，其近亲属可以提起诉讼。有权提起诉讼的法人或者其他组织终止，承受其权利的法人或者其他组织可以提起诉讼。

第二十五条公民、法人或者其他组织直接向人民法院提起诉讼的，作出具体行政行为的行政机关是被告。经复议的案件，复议机关决定维持原具体行政行为的，作出原具体行政行为的行政机关是被告;复议机关改变原具体行政行为的，复议机关是被告。两个以上行政机关作出同一具体行政行为的，共同作出具体行政行为的行政机关是共同被告。

由法律、法规授权的组织所作的具体行政行为，该组织是被告。由行政机关委托的组织所作的具体行政行为，委托的行政机关是被告。行政机关被撤销的，继续行使其职权的行政机关是被告。

第二十六条当事人一方或者双方为二人以上，因同一具体行政行为发生的行政案件，或者因同样的具体行政行为发生的行政案件、人民法院认为可以合并审理的，为共同诉讼。

第二十七条同提起诉讼的具体行政行为有利害关系的其他公民、法人或者其他组织，可以作为第三人申请参加诉讼，或者由人民法院通知参加诉讼。

第二十八条没有诉讼行为能力的公民，由其法定代理人代为诉讼。法定代理人互相推诿代理责任的，由人民法院指定其中一人代为诉讼。