一般情况下，在复议期间的行政处罚决定仍要继续执行。但是如果有下列情况的，则可以停止执行：
1、被申请人认为需要停止执行的；
2、行政复议机关认为需要停止执行的；
3、申请人申请停止执行，行政复议机关认为其要求合理，决定停止执行的；
4、法律规定停止执行的。
《中华人民共和国行政处罚法》第四十五条
《中华人民共和国行政复议法》第二十一条