在购房者支付了订金后却又希望解除房屋买卖合同时，他们应该首先根据合同中已经明确规定的相关条款进行处理。若双方并未对合同中的细节进行详细约定，那么他们便可尝试通过友好协商来解决问题。若协商无果，他们还可以选择寻求第三方机构的调解服务，以期达成共识。
然而，若调解结果未能令购房者满意，他们有权向法院提起诉讼。
此外，购房者亦可直接向法院提出诉讼请求。倘若卖方违反了合同约定，购房者有权要求其双倍返还所支付的订金；反之，若购房者自身存在违约行为，则需承担相应的法律责任。

《中华人民共和国民法典》第五百八十七条
债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金;收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。