依据《中华人民共和国民法典》之相关法律规定，在购房时，若双方签署的合同中已明确列明关于退回定金的条款，则应严格按照该条款履行；反之，如未对此作出规定，则当由收取定金的购房者单方面承担违反合同的违约责任。在此情况下，支付定金的购房者有权随时在三年之内向对方索取相应的定金退回。

《中华人民共和国民法典》第一百八十八条【普通诉讼时效、最长权利保护期间】向人民法院请求保护民事权利的诉讼时效期间为三年。法律另有规定的，依照其规定。诉讼时效期间自权利人知道或者应当知道权利受到损害以及义务人之日起计算。法律另有规定的，依照其规定。但是，自权利受到损害之日起超过二十年的，人民法院不予保护，有特殊情况的，人民法院可以根据权利人的申请决定延长。第五百八十七条【定金罚则】债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金;收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。