Так оно и есть. Протокол действительно главное доказательство для судов по административным делам.
Поэтому, если у Вас возникли несогласия с протоколом, то Вы должы обязательно их зафиксировать при его составлении. В случае, если в трёх строчка, отведённых для письменных объяснений лица, в отношении которого составляется протокол, Ваши претензии не помещаются, необходимо составить письменные возражения на отдельном листе и указать их в качестве приложения к протоколу в разделе объяснений! Иногда у административного "органа" есть спецЫяльные разлЕнованные бланки для подобных письменных претензий, если их нет, просите просто чистый лист. В этих письменных возражениях Вам нужно указать все несогласия, желательно и со ссылками на нарушение Ваших прав, допущенных при составлении протокола, если такие имели место быть, а также указывать фамилии свидетелей, которые могут подтвердить Ваши доводы или высказаться по факту. Вот тогда суду придётся рассматривать вопрос по-другому.

Отказ от подписания протокола - Ваше право, но этот факт не будет свидетельствовать о том, что Вы были с чем-то не согласны или ваши права нарушались в ходе составления протокола. Вот потому-то, что все формально относятся к составлению протокола, подписывают/неподписывают его, судам приходится руководствоваться тем что в протоколе зафиксировано, так как протокол - основное доказательство по делам о привлечении к административной ответственности.