首先，你应当积极与中间人展开沟通交流。
清楚地向其表明你的要求，即务必按照之前所做出的承诺，将钱款如数退还。
在沟通的过程中，要妥善保留好所有的沟通记录，像是聊天记录这类能够直观反映你们对话内容的信息，以及通话录音等，这些都将成为后续可能需要用到的重要证据。
倘若经过沟通后，对方并没有任何回应或采取行动，那么你可以慎重考虑向其发送一份书面通知。
在通知中，明确规定其必须在特定的期限内完成钱款的退还事宜，同时一定要注明，如果中间人超过规定期限仍未退还钱款，你将会采取相应的法律措施。
这样做既可以起到一定的威慑作用，也能让整个过程更加规范和有依据。
要是中间人依然拒绝退还钱款，此时你就可以依据相关的法律规定，向法院提起诉讼。
在诉讼的整个过程中，你需要精心准备并提供相关的证据。
其中包括你们双方当初所达成的约定，这能明确双方的权利和义务；还有转账记录等，这些能够有力地证明中间人确实应当退还钱款这一事实。
只有提供了充分的证据，才能增加你在诉讼中的胜算。
法院会依据案件的具体实际情况进行全面细致的审理，之后作出公正的判决。
如果判决结果是中间人必须退还钱款，那么你就可以及时申请法院进行强制执行。
通过这种方式，确保你的合法权益能够得到切实的维护和保障。
总之，当遇到中间人答应退钱却迟迟不肯行动的情况时，你一定要迅速采取恰当的措施，不能拖延，只有这样才能有效地维护自己的合法权益。

案情回顾:

小朱与中间人小胡达成协议，小胡承诺退还小朱一笔钱款。但小胡未按承诺退钱，小朱积极与小胡沟通并保留聊天记录、通话录音等证据，小胡仍无回应。小朱发送书面通知规定退款期限，小胡依旧拒绝退款，小朱决定起诉。

案情分析:

1、小朱积极沟通并保留证据的做法很正确，这些证据对后续维权非常关键。
2、小朱发送书面通知，既威慑小胡也使流程更规范，小胡拒绝后小朱起诉是合理维权手段，只要小朱能提供约定和转账记录等证据，法院会依据事实公正判决。