这是两个方面的问题。

一、刑事责任，因非法集资行为同时触犯刑法，构成非法集资罪，应当承担刑事责任，刑事责任是以国家名义对你的违法行为的惩罚，并不是集资人因你不返还集资款对你的惩罚。

二、民事责任，因为非法集资行为违反法律法规的强制性规定，无效，应全部返还给各集资人。并且还钱不是等到你刑满释放再处理，在审判刑事案件时，就会对你的非法所得做出处理，或返还，或没收。

三、刑事责任和民事责任不矛盾，同时适用。

非法吸收或者变相吸收公众存款行为只有具备一定的数额或情节才能构成犯罪。2010年5月7日最高人民检察院公安部制定发行的《最高人民检察院公安部关于公安机关管辖的刑事案件立案追诉标准的规定(二)》“第二十八条[非法吸收公众存款案(刑法第一百七十六条)]非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序，涉嫌下列情形之一的，应予立案追诉：

(一)个人非法吸收或者变相吸收公众存款数额在二十万元以上的，单位非法吸收或者变相吸收公众存款数额在一百万元以上的；

(二)个人非法吸收或者变相吸收公众存款三十户以上的，单位非法吸收或者变相吸收公众存款一百五十户以上的；

(三)个人非法吸收或者变相吸收公众存款给存款人造成直接经济损失数额在十万元以上的，单位非法吸收或者变相吸收公众存款给存款人造成直接经济损失数额在五十万元以上的；

(四)造成恶劣社会影响的；

(五)其他扰乱金融秩序情节严重的情形。”

2010年最高人民法院通过《最高人民法院关于审理非法集资刑事案件具体应用法律若干问题的解释》法释〔2010〕18号第三条也对此予以规定。