在这个案例中，我们可以明确地判断出这是一种违背了合同条款的不当行为。首先，我们建议你尝试采取友善的交谈和协商来解决问题。如果无法通过这种方式达成共识，那么下一步就是要开始收集相关的有力证据，然后精心书写严谨、准确、无误的诉讼状，将其递交到当地的司法机构，以便向违约方追讨按照先前制定好的房屋买卖协议应退回的购房款项，同时还需要对他们的违约行为所造成的经济损失提出赔偿请求。

《民法典》第二百零九条不动产物权的设立、变更、转让和消灭，经依法登记，发生效力；未经登记，不发生效力，但是法律另有规定的除外。依法属于国家所有的自然资源，所有权可以不登记。