依据《中华人民共和国刑法》第二百八十七条之二的明文规定，关于“帮助信息网络犯罪活动罪”的刑罚措施并未明确提及关于受害者退赔事宜的处理。此条款着重于对那些为他人运用信息网络从事犯罪活动提供技术性的支援或者协助行为进行规定，同时也包括对于此类违法行为的单位，应该执行何种程度的惩罚。损失或赔偿责任通常是由民事法律关系所设定的，而非由刑法直接予以规定。因此，若受害者因为“帮助信息网络犯罪活动罪”的被告方行为而蒙受经济上的损失，他们可能需要通过民事诉讼程序来寻求赔偿。在刑事案件审理过程中，法院有可能根据被告方的犯罪事实及情节，判定其应承担相应的刑事责任，然而是否需要退赔，则需依照民事法律的相关规定以及受害者提出的诉讼请求来做出裁定。

《中华人民共和国刑法》第二百八十七条之二
明知他人利用信息网络实施犯罪，为其犯罪提供互联网接入、服务器托管、网络存储、通讯传输等技术支持，或者提供广告推广、支付结算等帮助，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金。
单位犯前款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照第一款的规定处罚。
有前两款行为，同时构成其他犯罪的，依照处罚较重的规定定罪处罚。