依据我国相关法律的规定，对非法集资的赃款进行清退的，应该全部进行清退，如果非法吸收或者变相吸收公众存款，主要用于正常的生产经营活动，能够及时清退所吸收资金，可以免予刑事处罚;情节显著轻微的，不作为犯罪处理。

相关法律规定

《最高人民法院关于审理非法集资刑事案件具体应用法律若干问题的解释》

第三条非法吸收或者变相吸收公众存款，具有下列情形之一的，应当依法追究刑事责任：

非法吸收或者变相吸收公众存款的数额，以行为人所吸收的资金全额计算。案发前后已归还的数额，可以作为量刑情节酌情考虑。

非法吸收或者变相吸收公众存款，主要用于正常的生产经营活动，能够及时清退所吸收资金，可以免予刑事处罚;情节显著轻微的，不作为犯罪处理。