在受贿后决定私自归还，保留充分的证据乃是至关重要的。
首先，应尽可能地将与退还贿赂有关的书面资料妥善保存起来，例如退还款项时所收到的收据以及相关的情况说明书等文件。
其次，对与此过程相关的人员进行的交流过程也需要进行详细记录，其中可以包括电话录音、短消息、即时通信工具中的微信聊天记录等等，以便能够明确体现出您希望偿还贿赂的意愿及其行动表现。
此外，若条件允许的话，寻找到可靠可信的证人来证实您确实已退还贿赂也是非常必要的。

《中华人民共和国刑法》第三百八十五条
【受贿罪】国家工作人员利用职务上的便利，索取他人财物的，或者非法收受他人财物，为他人谋取利益的，是受贿罪。
国家工作人员在经济往来中，违反国家规定，收受各种名义的回扣、手续费，归个人所有的，以受贿论处。