关于何时是向受害者归还赃物的最佳时机这一问题，需要依据特定情境做出判断。
但通常来说，当犯罪事实已得以明确核实、证据确凿充足之际，法院在作出裁判之前，往往会要求嫌疑人将其违法所得退还给受害人。
根据我国《中华人民共和国刑法》第六十四条的明确规定，对于犯罪分子非法获得的所有财产，均应予以追回或责令退回赔偿。
由此可见，向受害者归还赃物应当在法院作出裁判之前完成，以保证法律程序的顺畅运行以及受害人的合法权益能够得到及时有效的保障。
若归还赃物的行为在裁判之后才实施，则有可能对裁判的执行及对犯罪分子的惩处产生不利影响。

《中华人民共和国刑法》第六十四条
犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；
对被害人的合法财产，应当及时返还；
违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。