交通事故责任认定时不需要双方都到场，有一方签字，交通事故认定也是有效的。
交通事故责任认定是事故处理机关单方面作出的行为，不需要征得当事人的同意。公安机关交通管理部门应当根据当事人的行为对发生道路交通事故所起的作用以及过错的严重程度，确定当事人的责任：
1、因一方当事人的过错导致道路交通事故的，承担全部责任；
2、因两方或者两方以上当事人的过错发生道路交通事故的，根据其行为对事故发生的作用以及过错的严重程度，分别承担主要责任、同等责任和次要责任；
3、各方均无导致道路交通事故的过错，属于交通意外事故的，各方均无责任；
4、一方当事人故意造成道路交通事故的，他方无责任。
《道路交通事故处理程序规定》
第九十三条 经调解达成协议的，公安机关交通管理部门应当当场制作道路交通事故损害赔偿调解书，由各方当事人签字，分别送达各方当事人。
调解书应当载明以下内容：
（一）调解依据；
（二）道路交通事故认定书认定的基本事实和损失情况；
（三）损害赔偿的项目和数额；
（四）各方的损害赔偿责任及比例；
（五）赔偿履行方式和期限；
（六）调解日期。
经调解各方当事人未达成协议的，公安机关交通管理部门应当终止调解，制作道路交通事故损害赔偿调解终结书，送达各方当事人。
《中华人民共和国道路交通安全法》
第七十三条 公安机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作交通事故认定书，作为处理交通事故的证据。交通事故认定书应当载明交通事故的基本事实、成因和当事人的责任，并送达当事人。