针对延迟交付房屋的问题，何时可以进行退房事宜需根据实际情况予以判断和决定：首先，若交房逾期时间仅限于三个月以内，那么通常情况下将不被赋予退房权利；其次，倘若延期交房的事实已经在适度催促之后持续了超过三个月仍未能妥善解决的情况，此时才能够依法行使退房的法定权益。

《中华人民共和国民法典》第五百六十三条有下列情形之一的，当事人可以解除合同：（一）因不可抗力致使不能实现合同目的；（二）在履行期限届满前，当事人一方明确表示或者以自己的行为表明不履行主要债务；（三）当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行；（四）当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的；（五）法律规定的其他情形。以持续履行的债务为内容的不定期合同，当事人可以随时解除合同，但是应当在合理期限之前通知对方。