如果购房者按照约定按时向卖方支付了房屋定金却遭到拒绝返还，这种做法显然是违反法律规定的。为了解决这个纠纷，购房者应当根据具体情况和卖方进行充分沟通协商，如果在协商过程中未能达成一致意见，购房者有权请求房地产管理部门出面督促卖方履行退还定金的法定义务；若以上措施仍然无法解决问题，购房者则可以依据买卖合同中的相关约定条款，依法申请仲裁或者提起诉讼。

《民法典》第五百八十六条
当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。定金的数额由当事人约定；但是，不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。实际交付的定金数额多于或者少于约定数额的，视为变更约定的定金数额。
《民法典》第五百八十七条
债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。