La National Highway Traffic Safety Administration (NHTSA) est en grand danger pour sa réputation suite à un
rapport dévastateur publié par une petite société de recherche et de conseil appelée Quality Control Systems. Ce rapport analyse le rapport de la NHTSA de 2017, à la suite duquel les responsables ont constaté que le pilote automatique Tesla réduit le risque d'accidents de 40% (graphique ci-dessus).
Le rapport n'est publié que maintenant, près de deux ans plus tard. Les systèmes de contrôle de la qualité ont dû poursuivre la NHTSA afin d'obtenir les données sous-jacentes aux conclusions de l'agence conformément à la loi sur la liberté de l'information.
Dans son rapport, QCS parle des lacunes de la méthodologie NHTSA, qui sont suffisamment graves pour discréditer complètement le chiffre de 40% que Tesla a cité à plusieurs reprises au cours des deux dernières années, soulignant les avantages pour la sécurité du pilote automatique.
La NHTSA a examiné la sécurité du pilote automatique après un
accident mortel avec le propriétaire de Tesla Joshua Brown en 2016 . Le pilote automatique, ou plutôt la fonction de maintien de voie Autosteer, était actif pendant l'accident, et Brown a ignoré quelques avertissements pour remettre ses mains sur le volant. Les critiques se sont demandé si un pilote automatique pouvait réduire la sécurité en encourageant le conducteur à faire moins attention à la route.
Cependant, la NHTSA a découvert qu'Autosteer avait en fait réduit le taux d'accidents de 40%, donc tout est en ordre. Tesla a
cité ce chiffre sur son blog, qui plaidait pour la technologie. Quelques semaines plus tard, Elon Musk a même
réprimandé des journalistes "obsédés" par les accidents de Tesla, et n'a pas expliqué comment le pilote automatique rend objectivement la conduite plus sûre.
Il se trouve que les arguments d'Ilon Mask auraient pu résulter d'une erreur fatale des experts de Tesla dans le calcul des statistiques.
Quel est le point, en bref. Comment la NHTSA a-t-elle évalué la sécurité des transports? De la manière la plus compréhensible et logique. Ils ont demandé à Tesla des statistiques complètes sur toutes les voitures vendues entre 2014 et 2016, et calculé le taux d'accidents avant et après l'installation d'Autosteer.
La méthodologie choisie était la suivante: ils ont pris le nombre d'accidents avant la mise en place du pilote automatique et divisé par le nombre de miles parcourus avant d'activer Autosteer. De même, nous avons pris le nombre d'accidents après l'installation du pilote automatique et également divisé par le nombre de kilomètres parcourus après l'activation d'Autosteer.
Au total, Tesla a fourni des données sur 43 781 véhicules.
Le seul problème est que dans le tableau de Tesla pour la plupart des voitures, les données sont incomplètes. Par exemple, il n'est pas indiqué à quel moment Autosteer a été activé sur le véhicule. Il s'est avéré que pour 29 051 voitures dans la base de données, aucun champ n'était nécessaire pour de tels calculs.
Lors du calcul, la NHTSA a considéré que toutes ces voitures étaient équipées à 100% d'Autosteer, comme si elles n'avaient pas parcouru un mile avant d'activer cette fonction. Cependant, 18 accidents impliquant ces véhicules ont été enregistrés dans les statistiques
avant Autosteer , soit plus de 20% des 86 accidents survenus avec des véhicules Tesla sans la fonction Autosteer!
Il est évident qu'un biais aussi sérieux dans le calcul des statistiques finales a fortement changé le résultat en faveur de la sécurité Autosteer. Sa force est inconnue. Nous ne pouvons pas calculer les données réelles pour l'ensemble de l'échantillon, car la plupart des données sont corrompues. Cependant, QCS a effectué des calculs similaires pour 5714 voitures, pour lesquelles il y avait des informations complètes sur le compteur kilométrique «avant Autosteer» et «après Autosteer» sans écart entre les deux points (c'est un autre inconvénient de la base Tesla: dans de nombreuses voitures, ces deux chiffres ne correspondaient pas). Ainsi, sur un échantillon normal, le calcul a montré que le taux d'accidents après l'installation d'Autosteer a augmenté de 59%. Bien que cela ne puisse pas être considéré comme un chiffre objectif, car 5714 voitures représentent une trop petite partie de la flotte Tesla et il n'y a aucun moyen de comprendre si elles sont un échantillon représentatif.
Apparemment, la NHTSA a depuis longtemps remarqué son erreur, tout simplement trop timide pour l'admettre. En mai dernier, le ministère s'est distancié de son propre rapport, le
qualifiant de «comparaison superficielle», qui «n'évalue pas l'efficacité de la technologie Autosteer».
Pourquoi ont-ils refusé de soumettre les données source à QCS pour réexamen pendant si longtemps? Après tout, une demande d'informations a été envoyée en février 2017, environ un mois après la publication du rapport original. L'agence n'a pas pu divulguer immédiatement les informations car Tesla a déclaré la confidentialité des données.
Ce n'est qu'au cours du
procès que le tribunal a rejeté les arguments de la NHTSA concernant la confidentialité des statistiques et ordonné de déclassifier les informations.