从法律上说，离婚并也办理了房产变更登记手续，你就是房屋所有权人了。男方赖着不搬离，侵害了你的财产权，你可以申请法院强制执行(离婚协议)，恢复你对该房屋的使用和支配。
《中华人民共和国治安管理处罚法》第二条扰乱公共秩序，妨害公共安全，侵犯人身权利、财产权利，妨害社会管理，具有社会危害性，依照《中华人民共和国刑法》的规定构成犯罪的，依法追究刑事责任；尚不够刑事处罚的，由公安机关依照本法给予治安管理处罚。