行政机关作出行政处罚决定决定后，如果想撤销行政处罚决定，应该向行政处罚相对人出具撤销行政处罚决定书。行政行为撤销的条件：

（1）行政行为合法要件缺损。合法的行政行为具备主体合法、内容合法、程序合法三要素，任何行政行为如缺损其中一个或一个以上要件，该行政行为就是可撤销的行政行为。

（2）行政行为不适当。不适当的行政行为也是可撤销的行政行为。所谓“不适当”，是指相应行政行为不合理、不公正、不符合现行政策、不合时宜、不符合有关善良风俗等情形。

一、行政机关撤销行政行为的程序

行政行为的撤销，是指在具备可撤销的情形下，由有权国家机关做出撤销决定后使其失去法律效力。是针对一般违法或者不适当行政行为而言的。行政行为不具备合法要件，例如出现主体不合法，或内容不合法，或程序不合当行政行为不适当或不甚合理的时候，由行政机关法的情形，法院通常不以不适当为由撤销。即使行政相对人超过复议或者诉讼期，也不影响行政机关撤销违法或者不适当的行政行为。

二、行政处罚错误撤销的法律依据

行政处罚撤销依据：合法的行政行为具备主体合法、内容合法、程序合法三要素，任何行政行为如缺损其中一个或一个以上要件，该行政行为就是可撤销的行政行为。不适当的行政行为也是可撤销的行政行为。所谓“不适当”，是指相应行政行为不合理、不公正、不符合现行政策、不合时宜、不符合有关善良风俗等情形。