对于购买房屋时缴纳的定金能否予以退还这个问题，答案并非绝对。然而，需要根据具体的情况进行分析和判断。购房者若希望撤回定金，通常需要在下面几种情况下才有可能向开发商索回定金：首先，当开发商并未获得政府部门颁发的《房地产预售许可证》，也就是说，他们并不符合商品房预售的法律规定时，他们与购房者之间关于购房定金的约定将被视为无效。根据我国《民法典》中的相关规定，对于无效合同的处理方式，无论双方签署的是《认购协议》还是其他形式的档，也不管双方是否就定金退还事宜做出明确约定，开发商都必须无条件地将定金归还给购房者；其次，如果开发商虽然尚未取得《房地产预售许可证》，但却故意隐瞒这一重要事实或者提供虚假信息声称已经取得了《房地产预售许可证》，那么开发商需要对这种行为承担缔约过失责任。除了需要退还购房者的定金之外，他们还应当赔偿购房者因资金占用产生的利息以及其他相关财产损失；再次，如果开发商已经满足了商品房预售的法定条件，并且成功获取了《房地产预售许可证》，那么如果双方仅仅约定了如果购房者拒绝签订《商品房买卖合同（预售）》便无法要求退还所交付的定金，那么购房者可以以该约定显失公平为理由，请求法院或仲裁机构对该约定进行变更或撤销，进而要求开发商退还所支付的定金；最后，如果是由于开发商方面的原因导致合同未能顺利签订，那么购房者有权要求开发商退还相应的定金。然而，如果是因为购房者自身的原因，且开发商在此过程中并未存在任何隐瞒或欺骗的行为，购房者仅凭个人意愿提出返还定金的要求，那么他们需要按照认购书中关于退房的相关约定支付违约金。

《民法典》第五百八十六条
当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。
定金的数额由当事人约定；但是，不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。实际交付的定金数额多于或者少于约定数额的，视为变更约定的定金数额。
第五百八十七条
债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。