根据我国法律的相关规定，行政机关在作出行政处罚时，发现作出的行政处罚错误，上级可以马上责令整改。行政机关处罚错误主要体现在主要证据不足、适用法律法规错误，违反法定程序、超越职权、滥用职权、明显不当等情形。

行政处罚后还能追究刑事责任吗

行政处罚后还能追究刑事责任。如果公安机关给予行为人行政处罚后，又发现其行为涉嫌刑事犯罪，可以追究其刑事责任。行政违法行为涉嫌构成犯罪的，公安机关应将其转为刑事案件办理或者移送有权处理的主管机关、部门办理，无需撤销行政案件。行政处罚的主体是行政机关或法律、法规授权的其他行政主体。应当注意两点：

1、某一特定行政机关是否拥有处罚权和拥有何种、多大范围内的处罚权，都由法律、法规予以明确的规定；

2、虽然行政处罚权主要是属于行政机关的，但如果经由法律授权或行政机关委托，行政处罚权的实施权亦可由被授权、被委托的组织行使。

行政处罚的对象是作为相对方的公民、法人或其他组织。这一点使之区别于行政机关基于行政隶属关系或监察机关依职权对其公务员所作出的行政处分。行政处罚的前提是相对方实施了违反行政法律规范的行为。只有相对方实施了违反行政法律规范的行为，才能给予行政处罚；再则，只有法律、法规规定必须处罚的行为才可以处罚，法律、法规没有规定的不能处罚。行政处罚的性质是一种以惩戒违法为目的具有制裁性的具体行政行为。这种制裁性体现在：对违法相对方权益的限制、剥夺，或对其科以新的义务。这点使之既区别于刑事制裁、民事制裁，又区别于授益性的行政奖励行为或赋权性的行政许可行为。

《中华人民共和国行政处罚法》第五十五条行政机关实施行政处罚，有下列情形之一的，由上级行政机关或者有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分：（一）没有法定的行政处罚依据的；（二）擅自改变行政处罚种类、幅度的；（三）违反法定的行政处罚程序的；（四）违反本法第十八条关于委托处罚的规定的。