被告应在法定期间内提供与被诉行政行为合法性相关的所有证据。一般而言，被告若要证明行政行为的合法性，应从以下五个方面来提供证据：

1.有关主体的证据材料，如果原告对行政主体的职权存在争议的，应该提出有关其职权依据的证据。

2.有关行政程序的证据材料。

3.有关被诉行政行为认定所认定事实的证据材料。

4.自由裁量合理性的证据材料。

5.有关被诉行政行为所依据的规范性文件。

一、行政复议撤销后还可以加重处罚吗

行政复议后撤销原行政处罚决定的，原行政处罚决定不再具有法律效力，所以是不会再处罚的，更不会存在加重处罚的情形。《行政复议法》第二十八条，行政复议机关负责法制工作的机构应当对被申请人作出的具体行政行为进行审查，提出意见，经行政复议机关的负责人同意或者集体讨论通过后，按照下列规定作出行政复议决定:(一)具体行政行为认定事实清楚，证据确凿，适用依据正确，程序合法，内容适当的，决定维持；(二)被申请人不履行法定职责的，决定其在一定期限内履行；(三)具体行政行为有下列情形之一的，决定撤销、变更或者确认该具体行政行为违法；决定撤销或者确认该具体行政行为违法的，可以责令被申请人在一定期限内重新作出具体行政行为:1.主要事实不清、证据不足的；2.适用依据错误的；3.违反法定程序的；4.超越或者滥用职权的；5.具体行政行为明显不当的。(四)被申请人不按照本法第二十三条的规定提出书面答复、提交当初作出具体行政行为的证据、依据和其他有关材料的，视为该具体行政行为没有证据、依据，决定撤销该具体行政行为。行政复议机关责令被申请人重新作出具体行政行为的，被申请人不得以同一的事实和理由作出与原具体行政行为相同或者基本相同的具体行政行为。

二、行政诉讼的立案标准是什么？

(一)原告是认为具体行政行为侵犯其合法权益的公民、法人和其他组织。

(二)有明确的被告。被告应是作出所诉具体行政行为的行政机关，并提供被告明确的住所地或经常居住的详细地址和法定代表人或主要负责人的姓名、职务、联系电话、邮政编码。

(三)有具体的诉讼请求和事实根据。原告应提供与争议事实有关的符合起诉条件的证据材料并填写证据清单，注明证据名称、份数、证明对象及提交时间。

(四)属于人民法院受理行政诉讼的范围和受诉人民法院管辖。