通常来说，财产所有权人是无法直接驱除拥有永久居留权之人的。然而,这并不意味着他们可以随意行事。实际上，能否驱逐居住者取决于具体的案例情况。因为，根据相关规定，居住权被视为一种权利，如同其他类型的用益物权。只要居住权的有效期仍然存在，就不应该将居住权者驱离。

《中华人民共和国民法典》第三百六十六条，居住权人有权按照合同约定，对他人的住宅享有占有、使用的用益物权，以满足生活居住的需要。
《中华人民共和国民法典》第三百二十三条，用益物权人对他人所有的不动产或者动产，依法享有占有、使用和收益的权利。