若您在收取五万元定金之后改变主意，决定不出售房屋，那么此举将被视为违约行为。
依照我国现行《中华人民共和国民法典》中的相关条文，接受定金的一方如未能履行其到期债务或者实际履行债务时违反了预先约定的条件，使得无法实现交易双方所期待的合同目标、效果以及利益分配，则有义务加倍退还该定金额度。
因此，在此种情况之下，阁下可能需要向买方退还共计十万元人民币。
当然，具体是否需要负担额外的责任，可能还需参照本合同中有无其他关于违约责任的详细条款进行判断。
为此，我们强烈建议您首先尝试与买方进行友好磋商，以期能够达成双方都能接受的解决方案，从而避免遭遇更为沉重的法律追究。
然而，若是经过各方努力仍无法找到妥善的解决之道，对方极有可能诉诸法律程序，要求阁下严肃承担相关责任。