依照《中华人民共和国刑事诉讼法》的相关规定，不同人员的回避由相应的负责人决定：1、审判人员的回避由院长决定；2、检察人员的回避由检查长决定；3、侦查人员的回避由公安机关负责人决定；4、院长的回避由本院审判委员会决定；5、检察长及公安机关负责人的回避，依法应当由同级人民检察院检察委员会决定。

行政案件回避由谁决定

公安机构负责人的回避，由上一级的公安机构决定，人民警察的回避，由其所属的公安机构决定。

当事人申请回避和审判人员主动回避。认为审判人员与本案有利害关系或者有其他关系可能影响公正审判，有权申请审判人员回避。当事人申请回避，应当说明理由，在案件开始审理时提出；回避事由在案件开始审理后知道的，应当在法庭辩论终结前提出。被申请回避的人员，在人民法院作出是否回避的决定前，应当暂停参与本案的工作，但案件需要采取紧急措施的除外。对当事人提出的回避申请，人民法院应当在3日内以口头或者书面形式决定。

院长担任审判长时的回避，由审判委员会决定；审判人员的回避，由院长决定；申请人对回避申请决定不服的，可以向作出决定的人民法院申请复议一次。复议期间，被申请回避的人员不停止参与本案的工作。对申请人的复议申请，人民法院应当在3日内作出复议决定，并通知复议申请人。审判人员主动回避是审判人员认为自己与本案有利害关系或者有其他关系，应当申请回避。回避的规定同时适用于其他人员：书记员、翻译人员、鉴定人、勘验人。其他人员的回避，由审判长决定。

处理刑事案件时，公安机构需要进行回避的，需要由上一级公安管理部门决定，案件的审判人员需要回避的，由本院的院长来决定，院长担任审判长时需要进行回避，是由审判委员会决定的。

《中华人民共和国刑事诉讼法》

第三十一条审判人员、检察人员、侦查人员的回避，应当分别由院长、检察长、公安机关负责人决定；院长的回避，由本院审判委员会决定；检察长和公安机关负责人的回避，由同级人民检察院检察委员会决定。

对侦查人员的回避作出决定前，侦查人员不能停止对案件的侦查。

对驳回申请回避的决定，当事人及其法定代理人可以申请复议一次。