不可以解除劳动合同。因为根据相关解除规定，员工被追究刑事责任的，用人单位才可以与其解除劳动合同。

单位以员工被刑事拘留为由，与员工解除劳动合同是不可取的。根据《劳动合同法》第39条规定，员工被追究刑事责任的，用人单位可以与其解除劳动合同。然而，根据有关规定，“被追究刑事责任”是指被法院判处刑罚的，包括被判处管制、拘役、有期徒刑及缓刑、无期徒刑、死刑(死缓)等。

一、什么是刑事拘留

刑事诉讼中的拘留是公安机关、人民检察院对直接受理的案件，在侦查过程中，遇到法定的紧急情况时，对于现行犯或者重大嫌疑分子所采取的临时剥夺其人身自由的强制方法。刑事拘留必须同时具备两个条件：其一，拘留的对象是现行犯或者是重大嫌疑分子。现行犯是指正在实施犯罪的人，重大嫌疑分子是指有证据证明具有重大犯罪嫌疑的人。其二，具有法定的紧急情形之一。对于何谓紧急情形，刑事诉讼法第82条和第163条对于公安机关的拘留和人民检察院的拘留作出了不同的规定。

二、如果员工被刑事拘留怎么办

根据原劳动部关于印发《关于贯彻执行〈中华人民共和国劳动法〉若干问题的意见》的通知第28点规定，员工被刑事拘留期间，由于没有为用人单位提供劳动，用人单位可以暂时停止劳动合同的履行，在法律效力上相当于劳动合同的中止，相关的权利和义务也可以按照劳动合同的中止执行。