针对购房者已交付定金后又希望解除房屋购买协议的情况，我们给出以下处理建议及程序：第一步，可以根据房屋购买协议中的相关规定来处理此问题；其次，倘若协议中并未对此事项做出明确规定，您可以尝试与对方进行友好磋商；若以上步骤未能达成解决方案，您还可以选择申请由第三方介入给予调解；如若对调解的结果仍感到不满或者无法接受，您有权向当地法院提起诉讼，同时也可以直接向法院提交诉状。在这其中，如果是卖方违反了协议条款，您有权要求其双倍返还所支付的定金。而若是买方自身存在违约行为，则需承担相应的法律责任。

《中华人民共和国民法典》第五百八十七条债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金;收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。《中华人民共和国民法典》第五百八十八条当事人既约定违约金，又约定定金的，一方违约时，对方可以选择适用违约金或者定金条款。定金不足以弥补一方违约造成的损失的，对方可以请求赔偿超过定金数额的损失。