被告应在法定期间内提供与被诉行政行为合法性相关的所有证据。一般而言，被告若要证明行政行为的合法性，应从以下五个方面来提供证据：

1．有关主体的证据材料，如果原告对行政主体的职权存在争议的，应该提出有关其职权依据的证据。

2．有关行政程序的证据材料。

3．有关被诉行政行为认定所认定事实的证据材料。

4．自由裁量合理性的证据材料。

5．有关被诉行政行为所依据的规范性文件。

行政诉讼被告需要举哪些证据

提供实体和程序两类证据

人民法院对处罚行政案件的审查主要是合法性审查。被诉行政处罚决定的合法性有两大内容，即处罚实体内容合法和处罚操作程序合法。为了证明这两大类内容合法，行政执法机关应当向人民法院提供被处罚人实施违法行为的事实证据材料和作出行政处罚决定的程序证据材料，以证明行政处罚决定在实体上和程序上都是合法的。

在实践中，原告在行政诉讼中即使没有提出行政处罚程序问题，人民法院也要审查处罚程序是否合法，如果发现程序严重违法，在原告没有提出程序问题的情况下，也应当撤销行政处罚决定。因此，行政执法机关在应诉时必须提供处罚程序合法的证据材料。

《中华人民共和国行政诉讼法》第三十四条被告对作出的行政行为负有举证责任，应当提供作出该行政行为的证据和所依据的规范性文件。被告不提供或者无正当理由逾期提供证据，视为没有相应证据。但是，被诉行政行为涉及第三人合法权益，第三人提供证据的除外。