还不起高利贷被高利贷人带走属于违法行为。除司法机关依据法律授权外，其他公民个人无权非法限制他人人身自由，受害人及其近亲属可及时报警处理。人身自由权是指公民在法律范围内有独立为行为而不受他人干涉，不受非法逮捕、拘禁，不被非法剥夺、限制自由及非法搜查身体的自由权利。人身自由不受侵犯，是公民最起码、最基本的权利，是公民参加各种社会活动和享受其他权利的先决条件。它是公民按照自己的意志和利益进行行动和思维、不受约束、控制或妨碍的人格权。根据《刑法》第二百三十八条规定：非法拘禁他人或者以其他方法非法剥夺他人人身自由的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。具有殴打、侮辱情节的，从重处罚。国家机关工作人员利用职权犯拘禁罪的，从重处罚。国家机关工作人员涉嫌利用职权非法拘禁，具有下列情形之一的，应予立案：1．非法拘禁持续时间超过24小时的；2．3次以上非法拘禁他人，或者一次非法拘禁3人以上的；3．非法拘禁他人，并实施捆绑、殴打、侮辱等行为的；4．非法拘禁，致人伤残、死亡、精神失常的；5．为索取债务非法扣押、拘禁他人，具有上述情形之一的；6．司法工作人员对明知是无辜的人而非法拘禁的。实践中，非国家机关工作人员立案标准也参照上述规定执行。非法拘禁行为，只有达到相当严重的程度，才构成犯罪。因此，应当根据情节轻重、危害大小、动机为私为公、拘禁时间长短等因素，综合分析，来确定非法拘禁行为的性质。尚不足以构成犯罪的，根据《治安管理处罚法》第四十条非法限制他人人身自由、非法侵入他人住宅或者非法搜查他人身体的，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款；情节较轻的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款。