对于犯罪分子违法所得的财物一般是都应当退还给受害者的。《刑法》规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。

贪污贿赂犯罪分子违法所得的财物应该怎样处理

贪污贿赂犯罪分子违法所得的财物应该由法院予以追缴或者责令退赔。贪污的财产应当及时返还单位，受贿的财产、违禁品和供犯罪所用的本人财物，均应当予以没收。根据法律规定，没收的财物和罚金，一律上缴国库，不得挪用和自行处理。

《中华人民共和国刑法》第六十四条

犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。