交通事故认定书不需要双方到场。
交通事故认定书应当载明交通事故的基本事实、成因和当事人的责任，并送达当事人。公安机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作交通事故认定书，作为处理交通事故的证据。
交通事故责任认定书下来以后赔偿流程是：
1、如果对交警认定的责任不服的，可以在收到责任认定书之日起三日内，向上一级交警部门申请复核；
2、如果对责任认定无异议的，则可以申请交警组织双方来进行调解；如果双方调解不成，或一方不愿意调解的，受害方可以向法院起诉要求赔偿损失；
3、在赔偿的时候，首先应该由保险公司在交强险赔偿限额内进行全额赔偿；超过部分再由对方按事故责任比例进行赔偿。

《中华人民共和国道路交通安全法》第七十三条
公安机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作交通事故认定书，作为处理交通事故的证据。交通事故认定书应当载明交通事故的基本事实、成因和当事人的责任，并送达当事人。
第七十四条
对交通事故损害赔偿的争议，当事人可以请求公安机关交通管理部门调解，也可以直接向人民法院提起民事诉讼。
经公安机关交通管理部门调解，当事人未达成协议或者调解书生效后不履行的，当事人可以向人民法院提起民事诉讼。