“保留追究法律责任的权利”的意思是没有放弃追究责任的权利。在法律上有明确具体的规定；由国家强制力保证其执行，由国家授权的机关依法追究法律责任，实施法律制裁，其他组织和个人无权行使此项权力。法律责任分为：刑事法律责任、民事法律责任、行政法律责任、经济法律责任、违宪法律责任。

行贿被退回还需要追究法律责任吗

需要追究法律责任，存在行贿的事实就需要追究刑事责任，行贿罪是为谋取不正当利益，给予国家工作人员、集体经济组织工作人员或者其他从事公务的人员以财物的行为。按中国刑法属于罪。本罪主要特征：

（1）行为人主观上出于故意，目的是利用国家工作人员、集体经济组织工作人员或者其他从事公务的人员职务上的便利为自己谋取私利。

（2）客观上实施了以金钱、贵重物品、满足各种私欲等贿赂收买国家工作人员或其他从事公务的人员的行为。

《中华人民共和国刑法》第十四条明知自己的行为会发生危害社会的结果，并且希望或者放任这种结果发生，因而构成犯罪的，是故意犯罪。

故意犯罪，应当负刑事责任。

《中华人民共和国民法典》第一百七十六条民事主体依照法律规定或者按照当事人约定，履行民事义务，承担民事责任。