总的来看，关于撤回谅解书是否应当归还赔偿金，这主要取决于具体的实际情况而定。
若在双方达成谅解协议之时，已经明确地对撤回谅解书所产生的后果进行了约定，其中便包含了赔偿金的处置方式，那么就应该严格依照先前的约定来执行。
然而，若是双方并未对此作出任何约定，那么在大多数情况下，倘若撤回谅解书并非由于接受赔偿金一方存在过失行为，那么很有可能并不需要将赔偿金予以返还。
但是，如果是由于接受方故意隐瞒关键事实，从而使得谅解书的达成过程中出现了欺诈等不当行为，那么此时便有必要考虑将赔偿金予以返还。

《中华人民共和国民法典》第一百四十八条
一方以欺诈手段，使对方在违背真实意思的情况下实施的民事法律行为，受欺诈方有权请求人民法院或者仲裁机构予以撤销。