尽管对方没有遵守规定程序，私自搭建属于违章建筑，但我们仍需作出道歉并赔偿其损失。
建筑物是否合法应由相关行政部门负责鉴定，而拆除违章建筑则由地方执法机构执行，这都需要遵循严谨的法定程序。
因此，任何单位和个人不得未经授权就自行拆除。

《中华人民共和国民法典》
第一千一百六十五条行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。依照法律规定推定行为人有过错，其不能证明自己没有过错的，应当承担侵权责任。
第一千一百六十六条行为人造成他人民事权益损害，不论行为人有无过错，法律规定应当承担侵权责任的，依照其规定。