被调查人员留置期间主动退还赃款赃物的，要不要判刑，要依据其犯罪情节而定，需要追究刑事责任的，提起公诉，由法院审理后确定是否判刑，如果判刑的，可以从轻、减轻处罚。

《监察法》第三十一条
涉嫌职务犯罪的被调查人主动认罪认罚，有下列情形之一的，监察机关经领导人员集体研究，并报上一级监察机关批准，可以在移送人民检察院时提出从宽处罚的建议：
（一）自动投案，真诚悔罪悔过的；
（二）积极配合调查工作，如实供述监察机关还未掌握的违法犯罪行为的；
（三）积极退赃，减少损失的；
（四）具有重大立功表现或者案件涉及国家重大利益等情形的。