不是要家属退赃，而是诈骗当事人必须要退赃，即便你不退赃，公安机关也会追赃的，法院判决没收财产的。
不退账就没有减轻情节，量刑相对会长。
诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。
诈骗罪侵犯对象不是骗取其他非法利益。

《刑法》第二百六十六条
诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；
数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；
数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
本法另有规定的，依照规定。