若行为人拒绝归还其非法所得的财物，这将直接影响到案件的量刑判决。
倘若行为人坚持不承认自己犯下的罪行并且不肯将赃款退还给受害者或法庭，那么他们自然无法获得适当的轻判处理。
然而，对于那些能够主动积极地归还赃物的罪犯，法官在审理案件时将会酌情考虑给予减轻或从轻的处罚。
此外，根据相关法律规定，犯罪分子通过违法手段获取的所有财物都应被依法追回或责令其进行赔偿；
而对于受害者的合法财产，也应该尽快予以返还；
至于那些用于犯罪活动的违禁物品以及犯罪分子个人使用的财物，则必须予以没收。

《中华人民共和国刑法》第二百六十六条
诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金。
数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金。
数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
本法另有规定的，依照规定。
第六十四条
犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；
对被害人的合法财产，应当及时返还；
违禁品和供犯罪所用的本人财物，应当予以没收。
没收的财物和罚金，一律上缴国库，不得挪用和自行处理。