所谓责令改正或者限期改正违法行为，是指行政主体责令违法行为人停止和纠正违法行为，以恢复原状，维持法定的秩序或者状态，具有事后救济性。责令改正只是要求行为人改正其违法行为并消除其违法状态，并未对行为人的权益予以减损或剥夺，不具备行政处罚的基本特征。因此，责令改正违法行为不属于行政处罚。

实施行政处罚时，不是作出处罚决定时，实施行政处罚是一个动态过程，不是一个时点概念。实施行政处罚时，包括行政处罚的启动、调查取证、决定等全过程。行政机关在整个行政处罚案件办理过程中，在包括调查取证的“行政处罚的启动、调查取证、决定等”任何一个环节，随时发现违法行为，应该随时要求责令改正。而不是作出处罚决定后，全部一直等到“在《行政处罚决定书》或者《不予行政处罚决定书》中一并表述。

律师补充：

行政处罚是行政主体对违反行政管理秩序的行为依法定程序所给予的法律制裁；而责令改正或限期改正违法行为是指行政机关在实施行政处罚的过程中对违法行为人发出的一种作为命令。

行政处罚是法律制裁，是对违法行为人的人身自由、财产权利的限制和剥夺，是对违法行为人精神和声誉造成损害的惩戒；而责令改正或者限期改正违法行为，其本身并不是制裁，只是要求违法行为人履行法定义务，停止违法行为，消除不良后果，恢复原状。

行政处罚是从惩戒的角度，对行政相对人科处新的义务，以告诫违法行为人不得再违法，否则将受罚；而责令改正或者限期改正则是命令违法行为人履行既有的法定义务，纠正违法，恢复原状。

行政处罚的具体种类，具体有：警告，罚款，没收违法所得、非法财物，责令停产停业，暂扣或者吊销许可证、执照和行政拘留等；而责令改正或者限期改正违法行为，因各种具体违法行为不同而分别表现为停止违法行为、责令退还、责令赔偿、责令改正、限期拆除等形式。