首先，请务必仔细查阅您与房地产经纪人签署的租赁协议当中所规定的所有条款细则，尤其是那些针对违约问题的明确约定。
假如协议中已经明确列出了解除合同的相关条件，并且您目前所面临的状况恰好满足其中某项，那么您便有权利依据该约定提出解除合同的请求。
然而，若是协议上并未对此现象有所预见，那您在此基础之上将房屋退还出去的行为，很可能会自动被视为违反合同约定的行为。
违约方往往需要承担起相应的违约责任，这其中可能涉及到支付违约金、赔偿中介公司的经济损失等等。
因此，我们强烈建议您首先尝试着与中介公司进行深入友好的沟通洽谈，看看是否能够找到一种双方都能接受的解决办法，例如减少所需缴纳的违约金数额或者探讨更多其他的方式来解决当前的困境。
倘若经过努力仍未能达到相互理解且共识，而中介方仍然坚决要求您承担相应的违约责任，同时您觉得这样的要求并不合理，那么您最终可能只能选择通过法律手段如提起诉讼或仲裁等，以期解决这个问题。
但是值得注意的是，在此过程中您可能会花费大量额外的时间以及支出一定的费用。
总而言之，我们希望您能够尽力去寻找一个和谐、负责任的方式来处理这个纠纷。