看具体情况来判定：
其一、如果该单位的员工明知是单位非法吸收的公众存款，仍然故意领取工资的，则要退工资；
其二、如果不符合上述情况的，则不退工资。

《刑法》第一百七十六条
非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序的，处三年以下有期徒刑或者拘役，并处或者单处罚金；
数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；
数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑，并处罚金。
单位犯前款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照前款的规定处罚。
有前两款行为，在提起公诉前积极退赃退赔，减少损害结果发生的，可以从轻或者减轻处罚。