用工单位退回被派遣劳务者只能是因为劳动者不符合录用条件、严重违纪，以及不能胜任工作等情形。这样，劳务派遣单位再依据劳动合同和法律的有关规定，解除与劳动者的劳动合同。如劳动者并无违反相关法律及劳务协议约定的行为，则用工单位不得随便将劳动者退回劳务派遣单位，劳务派遣单位亦不得随便与劳动者解除劳动合同，否则应承担相应的法律责任。

辞退劳务派遣人员需要赔偿吗

辞退劳务派遣人员需要赔偿，经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。

根据《劳动合同法》第五十条规定，用人单位应当在解除或者终止劳动合同时出具解除或者终止劳动合同的证明，并在十五日内为劳动者办理档案和社会保险关系转移手续。

劳动者应当按照双方约定，办理工作交接。用人单位依照本法有关规定应当向劳动者支付经济补偿的，在办结工作交接时支付。

用人单位对已经解除或者终止的劳动合同的文本，至少保存二年备查。

《劳务派遣暂行规定》第十二条有下列情形之一的，用工单位可以将被派遣劳动者退回劳务派遣单位：（一）用工单位有劳动合同法第四十条第三项、第四十一条规定情形的；（二）用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的；（三）劳务派遣协议期满终止的。被派遣劳动者退回后在无工作期间，劳务派遣单位应当按照不低于所在地人民政府规定的最低工资标准，向其按月支付报酬。