最好都去。交通事故责任认定书只是赔偿的一个依据，后期还涉及赔偿的调解，而且在交警的调解下和解不了的，还有可能需要到法院去起诉，当然，事故当事人在事故中有交通违法行为的，还面临交警部门的行政处罚。
法律依据：
交通事故处理工作规范第八十三条
 公安机关交通管理部门在办理道路交通事故案件过程中，有下列情形之一的，应当予以结案：
(一)道路交通事故认定书生效后，已对道路交通安全违法行为人行政处罚完毕，并且道路交通事故损害赔偿经调解达成协议、调解终结、终止调解，以及赔偿权利人和义务人在规定期限内未提出调解申请或者调解申请不予受理的;
(二)当事人涉嫌交通肇事犯罪，案件已移交检察机关审查起诉，并且公安机关交通管理部门已对交通肇事犯罪嫌疑人以外的其他道路交通安全违法行为人行政处罚完毕的;
(三)其他应当结案的情形。