用工单位退回被派遣劳动者只能是被派遣劳动者不符合录用条件或严重违纪违法，以及不胜任工作等情形。

这样，劳务派遣单位依据劳动合同法的有关规定，可以与被派遣劳动者解除劳动合同。由于用工单位不是被派遣劳动者的用人单位，其与被派遣劳动者之间不存在劳动合同关系，所以一般情况下，不可依据劳动合同法第四十条第三项规定的情形，即“劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的”，将被派遣劳动者退回劳务派遣单位。

用人单位可以将被派遣劳动者退回劳务派遣单位吗

用工单位只有下列情况下才能将被派遣劳动者退回劳务派遣单位：

1）被派遣劳动者在试用期内被证明不符合录用条件；

2）被派遣劳动者严重违反用人单位的规章制度；

3）被派遣劳动者严重失职，营私舞弊，给用人单位造成重大损害；

4）被派遣劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出拒不改正的；

5）被派遣劳动者以欺诈胁迫的手段或乘人之危，违背对方真实意思情况下订立或变更劳动合同的；

6）被派遣劳动者被依法追究刑事责任的；

7）被派遣劳动者患病或者非因公负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作；

8）被派遣劳动者不能胜任工作，经过培训或者调整工作岗位仍不能胜任工作的。

法律依据：

我国《劳动合同法》第65条规定：被派遣劳动者有本法第三十九条和第四十条第一项、第二项规定情形的，用工单位可以将劳动者退回劳务派遣单位，劳务派遣单位依照本法有关规定，可以与劳动者解除劳动合同。

第63条规定：被派遣劳动者享有与用工单位的劳动者同工同酬的权利。用工单位无同类岗位劳动者的，参照用工单位所在地相同或者相近岗位劳动者的劳动报酬确定。