退回购房定金时所需要采取的步骤及程序通常包括以下几个方面：
首先，仔细研读购房合同中的各项条款以及其中有关退款事宜的具体规定和限制，这是极为重要的一环。
具体来说，应明确理解购房合同中所约定的退款标准、提前通知所需时间以及与此相关的所有责任和义务。
其次，向开发商或者卖方提交书面的退款申请，同时附上相关的证明材料，如支付凭证、书面沟通记录等等。务必保证在申请中清晰地阐述您的诉求以及相关的理由。接下来，与开发商或者卖方进行深入的协商，就退款事宜展开实质性的对话。在此过程中，双方可以采用会议、电话或者电子邮件等多种方式进行交流，并尝试寻找出一种能够共同解决问题的最佳途径。若经过上述努力仍然未能与开发商或者卖方就退款事宜达成共识，那么您可以考虑向相关的政府部门或者第三方机构申请仲裁或者调解。这些机构将会依据购房合同中的约定以及相关的法律法规来处理争议，并积极推进退款事宜的落实。
最后，若以上所有措施均告失败，作为最终的解决方案，您可以选择通过诉讼的方式来解决争议并追回购房定金。
然而，在决定提起诉讼之前，强烈建议您咨询专业的律师团队，以便获得更为详尽且具有针对性的法律建议。

《中华人民共和国民法典》第五百八十六条当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。定金的数额由当事人约定;但是，不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。实际交付的定金数额多于或者少于约定数额的，视为变更约定的定金数额。《中华人民共和国民法典》第五百八十七条债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金;收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。