针对当事人拒绝退还房屋这一行为，实际上属于无法律依据的非法占有。当房屋租赁合同期限届满之时，无论是出租方还是承租方，若有任意一方明确表示不再续租，那么这份合同便即刻自动终止并失去效力。因此，作为房屋所有人，你完全有权运用司法途径来捍卫自身的合法权益不受侵犯。

《中华人民共和国民法典》五百六十六条合同解除后，尚未履行的，终止履行;已经履行的，根据履行情况和合同性质，当事人可以请求恢复原状或者采取其他补救措施，并有权请求赔偿损失。合同因违约解除的，解除权人可以请求违约方承担违约责任，但是当事人另有约定的除外。主合同解除后，担保人对债务人应当承担的民事责任仍应当承担担保责任，但是担保合同另有约定的除外。