交通责任认定书不需要双方都在场。只要有一个人签个字，就算是大家认可了这份认定报告。其实它就是处理事故的相关部门自己决定的事情，出具责任认定并无需征得当事人的同意。
其实说白了，对于某个细节问题，当事人的行为就是能影响到整个交通事故的结果，然后再看谁出的错厉害，就让谁负全责。如果是因为一方的错误引起了交通事故的话，那肯定全责都是这一方的。
但是如果是由两方或两方以上人犯了错最终造成了事故的话，警方会根据每个人的行为在整个事故中所起到的作用和各自的错误大小来分摊责任，大家可能是主要责任，也可能是平摊责任，甚至还有可能是次要责任。

《道路交通安全法》第七十三条
公安机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作交通事故认定书，作为处理交通事故的证据。交通事故认定书应当载明交通事故的基本事实、成因和当事人的责任，并送达当事人。