一、办案人员要回避由谁决定

根据法律的规定，在案件的侦查阶段，当事人及其法定代理人申请侦查人员回避或者侦查人员自行提出回避的，由公安机关负责人决定;

在案件的审查起诉阶段，当事人及其法定代理人申请检察人员回避或者检察人员自行提出回避的，由人民检察院检察长决定;在案件的审判阶段，当事人及其法定代理人申请审判人员回避或者审判人员自行提出回避的，由人民法院院长决定。

二、相关法律可参考

《刑事诉讼法》第二十九条审判人员、检察人员、侦查人员不得接受当事人及其委托的人的请客送礼，不得违反规定会见当事人及其委托的人。

审判人员、检察人员、侦查人员违反前款规定的，应当依法追究法律责任。当事人及其法定代理人有权要求他们回避。

第三十条审判人员、检察人员、侦查人员的回避，应当分别由院长、检察长、公安机关负责人决定;院长的回避，由本院审判委员会决定;检察长和公安机关负责人的回避，由同级人民检察院检察委员会决定。

对侦查人员的回避作出决定前，侦查人员不能停止对案件的侦查。

对驳回申请回避的决定，当事人及其法定代理人可以申请复议一次。

第三十一条本法第二十八条、第二十九条、第三十条的规定也适用于书记员、翻译人员和鉴定人。