应该返还，最高人民法院《关于执行〈中华人民共和国刑事诉讼法〉若干问题的解释》第二百九十四条规定，对于人民法院扣押、冻结的赃款、赃物及其孳息，除依法返还被害人的以外，应当一律没收，上缴国库。但没有赃款赃物应当予以返还的具体规定。
财政部的规定明确了上缴国库的赃款赃物范围，只有属于受贿、行贿的财物才一律上缴国库。索贿案中的财物应不应当一律上缴国库，关键在于如何认识索贿案中被索取人的行为。

《中华人民共和国刑法》第三百八十九条
【行贿罪】为谋取不正当利益，给予国家工作人员以财物的，是行贿罪。
在经济往来中，违反国家规定，给予国家工作人员以财物，数额较大的，或者违反国家规定，给予国家工作人员以各种名义的回扣、手续费的，以行贿论处。
因被勒索给予国家工作人员以财物，没有获得不正当利益的，不是行贿。