购买房屋时交付的五万元定金是否能够予以退还，需要根据实际情况进行判断。若开发商由于其自身原因违反了购房协议的约定，导致购房者无法签订正式的购房合同，那么开发商应当向购房者支付双倍的定金作为赔偿；反之，若购房者自身违反了购房协议的约定，则开发商有权拒绝退还定金。此外，若由于不可归责于买卖双方当事人的原因，导致商品房买卖合同最终未能得以签署，那么卖方有义务将定金如数退还给买方。

《中华人民共和国民法典》第五百八十七条债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金。收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。