依据我国相关法律的规定，出现特定情形的，仲裁员要自行回避，如果仲裁人员不自行回避的，当事人和代理人有权以口头或书面方式申请其回避。

《人事争议处理规定》

第三十一条有下列情形之一的，仲裁员应当自行申请回避，当事人和代理人有权以口头或书面方式申请其回避：

（一）是案件的当事人、代理人或者当事人、代理人的近亲属。

（二）与案件有利害关系。

（三）与案件当事人、代理人有其他关系，可能影响公正仲裁的。

前款规定适用于书记员、鉴定人员、勘验人员和翻译人员。

人事争议与劳动争议的共同点

1、争议常见的起动一方当事人（申诉主体），往往表现为仲裁申诉人均为劳动者。争议当事人另一方（被申诉主体）为企业、单位，往往表现为仲裁被申诉人。应当说，在我国《宪法》保证下，工厂工人职工、国家机关工作人员、事业单位工作人员、军人、司法机关工作人员、个体工商户、民营企业、私营企业用工、农民工、艺术工作者、自由职业者、企业家等等都是我国社会主义建设的劳动者，他们之间仅仅是从事的职业岗位不同。

2、在相对于企业、单位以及政府职能部门劳动者都是弱势群体中的一员。

3、人事争议与劳动争议的现行程序法律均适用“一裁两审制”，即要启动司法程序提起诉讼必须经过仲裁这个前置程序。

4、根据最高人民法院的司法解释，人民法院审理这两类争议案件均适用《劳动法》。并且均由人民法院的民事审判庭审理，基本上是由原审理劳动争议案件的法庭来审理人事争议案件。

5、两类仲裁委均设在国家行政机关（劳动主管机关与人事主管机关）内，一般为其处（科）级单位。

6、两类合同凡是因履行合同发生的争议范围所包容的争议事项都是非常宽的，所能提出纠纷争议的事项，可形成诉讼的案件非常多。

《人事争议处理规定》第三十一条