如果发现《行政处罚决定书》中出现编号、字迹、日期、印章等错误时，应当以局正式文件作出必要说明，同时重新制作并送达《行政处罚决定书》给行政相对人，不必重新履行行政处罚告知程序。2、如果发现《行政处罚决定书》中的处罚种类或处罚幅度错误时，应当以局正式文件作出必要说明，从行政相对人处收回该《行政处罚决定书》，重新制作并送达《行政处罚决定书》给行政相对人。因改变了处罚种类或处罚幅度，必须重新履行行政处罚告知程序。3、如果发现《行政处罚决定书》中所适用的法律法规规章或适用法律法规规章的条款错误时，如本文前述案例，应当以局正式文件撤销该《行政处罚决定书》，并从行政相对人处收回该《行政处罚决定书》。然后重新履行行政处罚告知程序，重新制作并送达《行政处罚决定书》给行政相对人。4、如果发现《行政处罚决定书》中的违法事实不清或证据不确凿时，应当以局正式文件撤销该《行政处罚决定书》，并从行政相对人处收回该《行政处罚决定书》。然后重新对违法事实进行调查核实，补充完善相关证据，在做到事实清楚、证据确凿的基础上，再按照行政处罚程序规定重新作出处理决定，重新履行处罚告知程序，重新制作并送达《行政处罚决定书》。因在行政相对人申请行政复议或提起行政诉讼之前，我们执法部门是可以重新调查取证，重新作出处理决定的，这也是符合《行政处罚法》要求行政机关主动进行纠错的精神的。而在行政复议或行政诉讼期间，我们执法部门是不可以自行收集证据的，即使收集了证据也是无效的，但主动进行纠错却是符合《行政处罚法》的原则和要求的。5、如果发现行政处罚的程序出现错误时，如检验报告送达后未满15日或责令整改未到期就作出行政处罚决定，而行政相对人对检验报告提出异议或对责令整改未到期就处罚提出异议，致使该案处罚在程序上存在严重缺陷，此时应当以局正式文件撤销该《行政处罚决定书》，并从行政相对人处收回该《行政处罚决定书》，然后再按照行政处罚程序规定重新作出处理决定，重新履行处罚告知程序，重新制作并送达《行政处罚决定书》。
法律依据：《中华人民共和国行政处罚法》第五十五条：行政机关实施行政处罚，有下列情形之一的，由上级行政机关或者有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分：
（一）没有法定的行政处罚依据的；
（二）擅自改变行政处罚种类、幅度的；
（三）违反法定的行政处罚程序的；
（四）违反本法第十八条关于委托处罚的规定的。
《中华人民共和国行政诉讼法》第五十四条：人民法院经过审理，根据不同情况，分别作出以下判决：
（一）具体行政行为证据确凿，适用法律、法规正确，符合法定程序的，判决维持。
（二）具体行政行为有下列情形之一的，判决撤销或者部分撤销，并可以判决被告重新作出具体行政行为：1、主要证据不足的：2、行政处罚可撤销情形有适用法律、法规错误的；3、违反法定程序的；4、超越职权的；