行政机关作出行政处罚决定决定后，如果想撤销行政处罚决定，应该向行政处罚相对人出具撤销行政处罚决定书。行政行为撤销的条件：

(1)行政行为合法要件缺损。合法的行政行为具备主体合法、内容合法、程序合法三要素，任何行政行为如缺损其中一个或一个以上要件，该行政行为就是可撤销的行政行为。

(2)行政行为不适当。不适当的行政行为也是可撤销的行政行为。所谓“不适当”，是指相应行政行为不合理、不公正、不符合现行政策、不合时宜、不符合有关善良风俗等情形。

《中华人民共和国行政处罚法》第五十五条规定：行政机关实施行政处罚，有下列情形之一的，由上级行政机关或者有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分：

(一)没有法定的行政处罚依据的;

(二)擅自改变行政处罚种类、幅度的;

(三)违反法定的行政处罚程序的;

(四)违反本法第十八条关于委托处罚的规定的。

首先，您的救济程序一般包括复议程序和诉讼程序两种，一般由您选择，但处罚不同可能会有例外。其次，复议程序和诉讼程序不能同时进行，如果您已经向法院起诉并由法院受理，那么不能再启动复议程序。再次，如果您关系够硬的话，在程序外找上级机关的关系当然可以解决问题，但成本往往过高。