要看具体情况，如果不构成刑事上的盗窃罪，那么就只给予行政处罚，但若构成刑事上的盗窃罪未遂，追究了刑事责任，则不必作出行政处罚。
盗窃罪是指以非法占有为目的，盗窃公私财物数额较大或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃公私财物的行为。

《治安管理处罚法》第四十九条
盗窃、诈骗、哄抢、抢夺、敲诈勒索或者故意损毁公私财物的，处5日以上10日以下拘留，可以并处500元以下罚款；
情节较重的，处10日以上15日以下拘留，可以并处1000元以下罚款《关于办理盗窃刑事案件适用法律若干问题的解释》第十二条
盗窃未遂，具有下列情形之一的，应当依法追究刑事责任：
(一)以数额巨大的财物为盗窃目标的。
(二)以珍贵文物为盗窃目标的。
(三)其他情节严重的情形。