具体判断取决于实际情况。
假若在拆除阳台违建时可能会危及到建筑物主结构的安全性，或者这类拆除行为可能会给公众权益带来严重伤害，这种情况下我们或许不得不考虑予以保留，但同时需要依法没收其实物资产或违法所得，在此基础上还可依法处以相当于建设工程总造价百分之十以下的罚款。
所谓违章建筑，就是指那些在没有获得相应拟建工程规划许可证的情况下，擅自在规划区域之外进行建设活动，或者违反了诸如《土地管理法》等相关法律法规规定而进行开工建设的房屋和各类附属设施。

《中华人民共和国城乡规划法》第六十四条
未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。