这种情况是必须要进行退还的。
从法律层面来看，赃款毫无疑问属于违法犯罪所获取的财物。
倘若你在自身并不知晓的情况下使用了赃款，然而一旦被确切查明，你所动用的这部分钱款就属于不当获取的利益。
按照相关的法律规定，不当获取的利益应当归还给遭受损失的一方。
在司法机关处理案件的整个过程当中，会对赃款的流向展开细致的追查，其目的就是要让财产恢复到受损之前的原本状态。
假如你执意拒不退还，那么你很可能会遭遇到法律层面上的不利后果，例如会被依法追究相应的民事责任等。
这不仅仅是对法律的尊重，也是维护社会公平正义的重要体现。
因为只有让违法犯罪行为所带来的不良影响得到妥善的处理和纠正，社会秩序才能更加稳定，人们的合法权益也才能得到有效的保障。