依据我国《刑事诉讼法》的规定，书记员需要回避的应该由负责审理案件的人民法院的院长作出决定。根据《中华人民共和国刑事诉讼法》的相关规定：

第三十条审判人员、检察人员、侦查人员不得接受当事人及其委托的人的请客送礼，不得违反规定会见当事人及其委托的人。审判人员、检察人员、侦查人员违反前款规定的，应当依法追究法律责任。当事人及其法定代理人有权要求他们回避。

第三十一条审判人员、检察人员、侦查人员的回避，应当分别由院长、检察长、公安机关负责人决定；院长的回避，由本院审判委员会决定；检察长和公安机关负责人的回避，由同级人民检察院检察委员会决定。

对侦查人员的回避作出决定前，侦查人员不能停止对案件的侦查。

对驳回申请回避的决定，当事人及其法定代理人可以申请复议一次。

一、回避制度的适用人员有哪些？

(一)审判人员：《高法解释》第三十二条本章所称的审判人员，包括人民法院院长、副院长、审判委员

会委员、庭长、副庭长、审判员、助理审判员和人民陪审员。

(二)检察人员：《高检规则》第三十二条本章所称检察人员，包括人民检察院检察长、副检察长、检察委

员会委员、检察员和助理检察员。

(三)侦查人员：指公安机关、人民检察院在办理案件过程中依据法律进行的专门调查工作和采取的有关强制措施，进行案件侦察的工作人员。

(四)相关人员：参加侦查、起诉、审判活动的记录人、书记员、翻译员、鉴定人、司法警察。