当买方无法就合同条款达成统一意见而希望退回定金时，应首先尝试与卖方进行友好协商以寻求解决方案。如若协商未果，买方有权选择直接向法院提起诉讼，请求卖方归还其所支付的定金。然而，需要注意的是，退回定金并非毫无限制，仅限于因合同条款未能达成共识而导致的情况。此外，买方必须在认购书规定的期限内签署正式合同，否则将失去退回定金的权利。为了证明这一点，买方可以通过查阅合同条件谈判过程中双方修改的相关记录，或者通过收集双方交谈的录音作为证据。部分购房者可能因为自身原因并不愿意购买该房屋，这种情况被视为违约行为。但是，如果他们能够通过增加补充协议的方式达到退回定金的目的，也是可行的。最后，对于那些尚未取得销售许可证或产权证的内部认购项目，由于其本身不符合销售条件，因此无论在何种情况下，定金均可予以退还，无需进行过多的取证工作，只需直接向法院提起诉讼即可。

《最高人民法院关于审理商品房买卖合同纠纷案件适用法律若干问题的解释》第四条出卖人通过认购、订购、预订等方式向买受人收受定金作为订立商品房买卖合同担保的，如果因当事人一方原因未能订立商品房买卖合同，应当按照法律关于定金的规定处理;因不可归责于当事人双方的事由，导致商品房买卖合同未能订立的，出卖人应当将定金返还买受人。