若出卖方延迟交付房屋，那么买方有权发出书面催告予以提醒，经过三个月的合理期限之后，倘若出卖方仍未能按照约定履行相关义务，则买方可以考虑解除购房合同并要求退还已支付的款项。
然而，需要注意的是，买方必须在催告书送达给出卖方并且生效之日起一年之内就退房事宜向法院提起诉讼，除非双方当事人在此之前已经达成了其他协议或约定。

《民法典》第五百六十二条
当事人协商一致，可以解除合同。
当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。
《商品房销售管理办法》第三十五条
商品房交付使用后，买受人认为主体结构质量不合格的，可以依照有关规定委托工程质量检测机构重新核验。经核验，确属主体结构质量不合格的，买受人有权退房；给买受人造成损失的，房地产开发企业应当依法承担赔偿责任。