犯挪用资金罪的被告人退回赃款，通常需要将其归还给负责该案件立案侦查的机关，如公安机关、人民检察院或法院等。
期间，司法机关将会遵循严格的法律程序及相关法规，对于这部分退回的款项进行妥当的处置。
在量刑过程中，被告人主动退赃的行为无疑会被视为一项重要的从轻处罚情节加以考量。

《中华人民共和国刑法》第二百七十二条
【挪用资金罪；挪用公款罪】公司、企业或者其他单位的工作人员，利用职务上的便利，挪用本单位资金归个人使用或者借贷给他人，数额较大、超过三个月未还的，或者虽未超过三个月，但数额较大、进行营利活动的，或者进行非法活动的，处三年以下有期徒刑或者拘役；挪用本单位资金数额巨大的，处三年以上七年以下有期徒刑；数额特别巨大的，处七年以上有期徒刑。
国有公司、企业或者其他国有单位中从事公务的人员和国有公司、企业或者其他国有单位委派到非国有公司、企业以及其他单位从事公务的人员有前款行为的，依照本法第三百八十四条的规定定罪处罚。
有第一款行为，在提起公诉前将挪用的资金退还的，可以从轻或者减轻处罚。其中，犯罪较轻的，可以减轻或者免除处罚。