这需要具体问题具体分析。
1.若买受方能够和出卖方达成一致协议，双方共同解除房屋买卖合同，或者当合同中事先约定或法律规定的解除条件得到满足并已实际发生时，向出卖方发出正式的退房通知，该通知在送达至出卖方处之日起即可解除房屋买卖合同，无需支付任何形式的违约金；
2.然而，如果未达到相关退房条件的房子，除非经过特殊协商或法院判决，否则通常是无法退回的，强行退房则可能会导致买受方需承担相应的违约责任，支付违约金。

《中华人民共和国民法典》第五百六十二条当事人协商一致，可以解除合同。当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。