倘若犯罪嫌疑者在实施诈骗行为过程中未曾主动退回赃款，那么在法院进行判决量刑之时，通常会将此环节视为需要加重刑罚的重要考量因素之一。
导致这种现象的原因在于，犯罪嫌疑人主动退回赃款通常会被视为其对自身所犯下的罪行有所认识，并展示出深切的悔过之心。
然而，具体的刑罚判定依旧要依据案件整体各个方面的特征来加以确定，这些特征包括涉及到的诈骗金额、犯罪手法、犯罪行为带来的负面影响以及犯罪嫌疑人的主观恶性等等。
总的来说，当诈骗案件涉及到的金额比较大的时候，犯罪人将会面临三年以下有期徒刑、拘役或者管制等不同程度的惩罚，并且会被处以相应的罚金。
而当诈骗数额较为庞大或存在其他严重情节的情况下，犯罪者将可能被判处三到十年有期徒刑，并接受相应罚锾或没收全部财产。

《中华人民共和国刑法》第二百六十六条
【诈骗罪】诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。本法另有规定的，依照规定。