在非法集资案件中，退还赃款虽然可以视为减轻或从轻判决的因素之一，但是并不能直接导致案件被撤销或无罪释放的结果。

在处理诸如非法吸收公众存款等金融犯罪案件过程中，被告人主动退回赃款往往体现了其对自身行为的反思和忏悔之心，这也有利于降低其犯罪行为给社会带来的负面影响。

因此，在进行量刑评估时，法院通常会对此给予充分的考量，从而可能对最终的刑罚结果产生积极的影响。

《中华人民共和国刑法》第一百七十六条

【非法吸收公众存款罪】非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序的，处三年以下有期徒刑或者拘役，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑，并处罚金。

单位犯前款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照前款的规定处罚。

有前两款行为，在提起公诉前积极退赃退赔，减少损害结果发生的，可以从轻或者减轻处罚。