依据我国相关法律的规定，对行政违法行为追究责任的期限是2年，超过2年未发现的，不再进行处罚，而行政处罚记录是永久保存的。

《中华人民共和国行政处罚法》第二十九条
违法行为在二年内未被发现的，不再给予行政处罚。法律另有规定的除外。
前款规定的期限，从违法行为发生之日起计算；
违法行为有连续或者继续状态的，从行为终了之日起计算。
第三十四条
执法人员当场作出行政处罚决定的，应当向当事人出示执法身份证件，填写预定格式、编有号码的行政处罚决定书。行政处罚决定书应当当场交付当事人。
前款规定的行政处罚决定书应当载明当事人的违法行为、行政处罚依据、罚款数额、时间、地点以及行政机关名称，并由执法人员签名或者盖章。
执法人员当场作出的行政处罚决定，必须报所属行政机关备案。