非法集资追究刑事责任的方式：

1、行为人非法集资构成非法吸收公众存款罪的，一般处三年以下有期徒刑或拘役，并处或单处罚金。

2、构成集资诈骗罪的，一般处三年以上七年以下有期徒刑，并处罚金；如果数额巨大的，处七年以上有期徒刑或无期徒刑，并处罚金或没收财产。

高利贷是否应当追究刑事责任？

不一定。

1、单纯的放高利贷不构成犯罪，不追究刑事责任；

2、如果以转贷牟利为目的，套取金融机构信贷资金高利转贷他人，违法所得数额较大的，要追究刑事责任。

构成刑事犯罪的，要依据触犯的罪名，根据犯罪的事实、犯罪的性质、情节和对于社会的危害程度等因素，依据刑法规定的标准进行处罚。

《刑法》第一百七十六条

非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序的，处三年以下有期徒刑或者拘役，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑，并处罚金。

单位犯前款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照前款的规定处罚。

有前两款行为，在提起公诉前积极退赃退赔，减少损害结果发生的，可以从轻或者减轻处罚。