若能提供充足的证据证明对方确实存在违约行为，并且该违约行为直接导致房屋买卖合同无法顺利执行，那么您有权向对方提出退回定金的要求。在这种情况下，如果债务人能够按照合同规定履行其应尽的义务，那么定金将被视为支付的价款或予以收回；反之，如果给付定金的一方未能按约履行债务或者履行的债务与合同约定不符，以致于无法实现合同的根本目的，则无权请求返还定金；同样地，如果收受定金的一方未能按约履行债务或者履行的债务与合同约定不符，以致于无法实现合同的根本目的，则必须双倍返还定金。

《民法典》第五百八十七条债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金;收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。