被告应在答辩期10天内提供证据。
《行政诉讼法》规定，被告应当在收到起诉状副本之日起10日内向人民法院提交作出具体行政行为的有关材料，并提出答辩状；《最高人民法院若干解释》第26条规定，被告在提出答辩状时一并提交作出具体行政行为的证据和依据，实际上是要求被告在庭审前进行“证据开示”。确立证据开示制度的意义在于保证诉讼的公正与效率。
在行政诉讼中，如果被告只提交答辩状而不提供证据，或者故意拖延提供证据，就会使原告无暇准备反证，或者无机会辩驳，这对原告显属不公；另外，如果被告在庭审中不断地提供证据，人民法院需中断开庭以核实各种突然情况，就会造成诉讼拖延，影响行政审判效率，而且使集中审理难以实现，反过来又影响庭审的质量。此外，拖延举证时间，也会给被告事后补充收集证据提供很多机会，不利于监督行政机关遵循“先取证，后裁决”的程序规则。
因此，被告在提交答辩状时，应当一并提供作出具体行政行为的证据，此后提供的证据都构成“突袭证据”，人民法院不应予以采纳。
《行政诉讼法》第六十七条