陪审员属于审判人员，陪审员的回避由法院院长决定。

刑诉第31条：审判人员、检察人员、侦查人员的回避，应当分别由院长、检察长、公安机关负责人决定。民诉第47条：院长担任审判长时的回避，由审判委员会决定;审判人员的回避，由院长决定;

由审判决定回避的方式有两种：一种是审判人员自行回避，即负责案件的审判人员，认为自己具有回避制度法定情形之一而主动提出回避;另一种是当事人申请回避，即当事人认为审判人员有回避制度法定情形之一的，用口头或者书面形式申请他们退出该案的审理。申请书应递交于法院院长。

人民法院对当事人提出的回避申请，应当在申请提出的三日内，以口头或者书面形式作出决定。申请人对决定不服的，可以在接到决定时申请复议一次。复议期间，被申请回避的人员，不停止参与本案的工作。人民法院对复议申请，应当在三日内作出复议决定，并通知复议申请人。