根据《中华人民共和国行政处罚法》第二十九条第一款的规定，违法行为在二年内未被发现的，不再给予行政处罚。目前我国税务行政处罚追究时效存在的问题

1、法律规定不严密。《税收征管法》第八十六条规定：违反税收法律、行政法规应当给予行政处罚的行为，在五年内未被发现的，不再给予行政处罚。这一规定明确了违反国家税收法律、行政法规的涉税违法行为的追究时效。

2、追究时限未分类。针对税务行政处罚的特殊性，新征管法突破了行政处罚法处罚时效的规定，这确实具有历史性的意义。但从另一方面来看，这一规定有矫枉过正之嫌。一是违背了行政处罚的公正原则。行政处罚法规定：设定和实施行政处罚必须以事实为依据，与违法行为的事实、性质、情节以及社会危害程度相当。

3、时效起点难计算。行政处罚追究时效起点的准确界定是保障行政处罚合法性的一个重要标尺。《税收征管法》对税务处罚的追究时效未作规定，那么行政处罚法的规定显然适用于税务行政出罚。行政处罚法规定，追究时效通常从违法行为发生之日起计算；违法行为有连续或者延续状态的，从行为终了之日起计算。实践中上述条款如何理解争议很大。如在稽查案件中“违法行为发生之日”究竟是指违法行为作出之日、检查开始之日、还是审理之日、还是行政处罚事项告知书送达之日，各地执行不一。“连续状态”、“延续状态”如何区分，时间间隔如何把握，执法实践中往往令人困惑不已。《税收征管法》第八十六条规定“违反税收法律、行政法规应当给予行政处罚的行为，在五年内未被发现的，不再给予行政处罚。”，其中“发现”如何理解、如何执行也是困惑执法人员的执法难点。违法税收是有诉讼时效的，一般如果在两年以内没有发现违法税收行为的话，那么是不会对其进行行政处罚的。当事人需要在发现违法税收行为的两年之内提出行政复议，如果进行了行政复议对于结果不满意的话，那么可以进行起诉。