此问题的解答完全依赖于租赁合同中双方所达成的具体协议内容。
通常情况下，若租赁合同清晰地标明了租赁期限，并且在此期间业主决定自行撤除房屋租赁，则其极有可能需要向承租人支付一定数额的违约金。
然而，倘若业主具备合理的解除原因，例如租户严重违反了合同约定，或者遭遇了诸如自然灾害等无法预见的不可抗力事件，那么业主便有可能无需承担违约金的支付义务。
在此，我们强烈建议您首先查阅租赁合同中有关解除合同以及违约责任的详细条款。
若未对这些事项进行明确规定，或者规定不够详尽，依据相关法律法规，业主无缘无故提前终止合同，应当赔偿承租人因之而产生的经济损失。
若双方就此问题产生分歧，可以考虑通过协商、调解、仲裁乃至诉讼等途径加以解决。