不一定。
通常来讲，交通事故责任认定书是由交通警察依据现场的勘查情况以及调查取证所得的各种信息来作出的。
假如说双方对于事故责任都没有什么不同的意见，那么就可以一起前往交通管理部门，在这个过程中，大家一起协助交警完成认定工作，这样一来，就能够加快整个认定的进程。
要是其中一方对责任认定存在异议，那就可以在规定的时间内向上一级交通管理部门去申请复核，在这种情况下，并不需要双方同时前往。
总而言之，双方到底是不是一起去办理交通事故责任认定书的现场，主要是取决于双方对于事故责任的态度。
要是有一方拒绝配合，或者是对责任认定有异议，那就一定要按照法律所规定的程序来进行处理，这样才能确保整个过程的公正、合法和合理。

案情回顾:

小朱和小李发生交通事故。交警需要进行责任认定，小朱认为双方责任明确，想与小李一起去交通管理部门协助交警尽快完成认定。但小李对责任认定存在异议，拒绝和小朱一起前往，还表示要向上一级交通管理部门申请复核。

案情分析:

1、若双方对事故责任无异议，共同协助交警认定可加快进程。
2、一方有异议时，有权在规定时间内向上一级交通管理部门申请复核，无需双方共同前往，且应按法律程序处理以确保公正合法。