依据我国相关法律的规定，非法吸收公众存款的钱是属于赃款，由公安机关负责追缴，属于被害人的，公安机关会进行退赔，属于犯罪分子的没收上缴国库。

《中华人民共和国刑法》

第六十四条【犯罪物品的处理】犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔;对被害人的合法财产，应当及时返还;违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。

第一百七十六条【非法吸收公众存款罪】非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序的，处三年以下有期徒刑或者拘役，并处或者单处二万元以上二十万元以下罚金;数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处五万元以上五十万元以下罚金。

单位犯前款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照前款的规定处罚。

赃物赃款的处理方式有哪些

由于查封、扣押、冻结的主体不同，人民法院判决后在案财物的处理程序也不相同。

1、人民法院受理案件时，对于侦查机关冻结在金融机构的存款、汇款、债券、股票、基金份额等赃款赃物，应当审查是否附有金融机构出具的证明文件原件。人民法院作出生效判决后，通知该金融机构上缴国库，伺时将判决书送达有关财政机关。金融机构应当在接到执行通知书后十五日内向人民法院送交执行回单。

2、对于查封、扣押、冻结的赃款赃物依法不移送的，人民法院作出的判决生效后，由原审的人民法院通知查封、扣押、冻结机关上缴国库，同时将通知及判决书送达有关财政机关。查封、扣押、冻结机关应当在接到执行通知书后十五日内向人民法院送交执行回单。

3、对于人民法院查封、扣押、冻结的赃款赃物及其孳息·人民法院作出的判决生效后，由原审人民法院依照生效的法律文书进行处理。除依法返还被害人的以外，应当一律没收，上缴国库。法律另有规定的除外。