解除房屋租赁合同的时间是：一般是合同终止之日或解除通知到达之日。房屋租赁合同到期的，租赁关系终止；房屋租赁合同未到期的可以双方协商一致进行解除，或者在合同中约定或法定的解除条件发生后一方向另一方送达退房通知，通知到达之时解除房屋租赁合同。

《民法典》第五百六十二条
当事人协商一致，可以解除合同。当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。
第五百六十三条
有下列情形之一的，当事人可以解除合同：
（一）因不可抗力致使不能实现合同目的；
（二）在履行期限届满前，当事人一方明确表示或者以自己的行为表明不履行主要债务；
（三）当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行；
（四）当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的；
（五）法律规定的其他情形。
以持续履行的债务为内容的不定期合同，当事人可以随时解除合同，但是应当在合理期限之前通知对方。