若能够提供充分证据显示对方确实存在违反合同约定的行为，且此种违约情况严重影响到房屋买卖合同的顺利执行，那么，我们有权请求对方退回所支付的订金。在合同双方都严格遵守约定的情况下，预付的订金应该被视为购房款的一部分或者全额退还；然而，如果由于自然灾害等不可抗力因素导致无法签订正式的交易合同，或者因为双方对于协议以及补充协议的具体条款未能达成共识而无法签署相关文件，这并不在任一方的责任范围之内时，我们是有权利要求退回订金的；此外，如果卖方单方面违约，导致合同无法继续履行，那么，我们也可以要求其退还双倍的订金；但是，除上述几种情况之外，其他情况下的订金都是不予退还的。

《民法典》第五百八十七条债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金;收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。