单位以员工被行政拘留为由，与员工解除劳动合同是不可取的。根据《劳动合同法》第39条规定，员工被追究刑事责任的，用人单位可以与其解除劳动合同。然而，根据有关规定，“被追究刑事责任”是指被法院判处刑罚的，包括被判处管制、拘役、有期徒刑及缓刑、无期徒刑、死刑(死缓)等。

一、工人缓刑会被开除吗

被依法追究刑事责任的，可以开除。被缓刑后企业解除劳动合同，是合法的。根据法律规定，劳动者被依法追究刑事责任的，用人单位可以解除劳动合同。缓刑人员仍然属于被依法追究刑事责任的人员。所以公司与其解除劳动合同，是合法的。

二、什么情况下可以辞退怀孕员工

可以与孕期女职工解除劳动合同的情形：

1、怀孕女员工还在试用期内，单位有证据证明其不符合录用条件的。

2、怀孕女员工有严重违反用人单位规章制度的行为。

3、怀孕女员工严重失职、营私舞弊，对用人单位造成了重大损失的。

4、怀孕女员工被依法追究了刑事责任的。

5、怀孕女员工同时又与其他单位建立劳动关系，就完成本单位的工作任务造成严重影响，或者在用人单位提出之后，仍然不予改正的。

三、员工违法可以与其解除劳动合同

员工违法且被追究刑事责任的，用人单位可以单方面与其解除劳动合同。劳动者存在以下情形之一的，用人单位可以单方面解除劳动合同：被依法追究刑事责任的；在试用期间被证明不符合录用条件的；严重失职，营私舞弊，给用人单位造成重大损害的；其他。