Administrasi Keselamatan Lalu Lintas Jalan Raya Nasional (NHTSA) berisiko besar terhadap reputasinya setelah
laporan yang sangat buruk yang diterbitkan oleh sebuah penelitian kecil dan perusahaan konsultan bernama Quality Control Systems. Laporan ini menganalisis laporan NHTSA dari 2017, sebagai hasilnya pejabat menemukan bahwa Tesla autopilot mengurangi risiko kecelakaan hingga 40% (grafik di atas).
Laporan ini diterbitkan hanya sekarang, hampir dua tahun kemudian. Sistem Kontrol Kualitas harus menuntut NHTSA untuk mendapatkan data yang mendasari temuan lembaga sesuai dengan Undang-Undang Kebebasan Informasi.
Dalam laporannya, QCS berbicara tentang kekurangan metodologi NHTSA, yang cukup serius untuk sepenuhnya mendiskreditkan angka 40 persen yang dikutip Tesla beberapa kali selama dua tahun terakhir, menyoroti manfaat keamanan autopilot.
NHTSA memeriksa keamanan autopilot setelah
kecelakaan fatal dengan pemilik Tesla Joshua Brown pada 2016 . Autopilot, atau lebih tepatnya fungsi menjaga jalur Autosteer, aktif selama kecelakaan itu, dan Brown mengabaikan beberapa peringatan untuk meletakkan tangannya kembali ke kemudi. Para kritikus bertanya-tanya apakah autopilot dapat mengurangi keselamatan dengan mendorong pengemudi untuk kurang memperhatikan jalan.
Namun, NHTSA menemukan bahwa Autosteer sebenarnya mengurangi tingkat kecelakaan hingga 40%, jadi semuanya beres. Tesla
mengutip angka ini di blog-nya, yang berargumen untuk teknologi. Beberapa minggu kemudian, Elon Musk bahkan
memarahi wartawan yang "terobsesi" dengan Tesla crash, dan tidak berbicara tentang bagaimana autopilot secara objektif membuat mengemudi lebih aman.
Ternyata, argumen dari Topeng Ilon bisa saja muncul sebagai akibat dari kesalahan fatal oleh para ahli Tesla dalam menghitung statistik.
Apa intinya, singkatnya. Bagaimana NHTSA mengevaluasi keselamatan transportasi? Dengan cara yang paling dimengerti dan logis. Mereka meminta statistik lengkap Tesla pada semua mobil yang dijual antara 2014 dan 2016, dan menghitung tingkat kecelakaan sebelum dan sesudah menginstal Autosteer.
Metodologi yang dipilih adalah ini: mereka mengambil jumlah kecelakaan sebelum mengatur autopilot dan dibagi dengan jumlah mil yang ditempuh sebelum mengaktifkan Autosteer. Demikian pula, kami mengambil jumlah kecelakaan setelah menginstal autopilot dan juga dibagi dengan jumlah mil yang ditempuh setelah mengaktifkan Autosteer.
Secara total, Tesla menyediakan data pada 43.781 kendaraan.
Satu-satunya masalah adalah bahwa dalam tabel dari Tesla untuk sebagian besar mobil data tidak lengkap. Misalnya, tidak ditunjukkan pada titik apa Autosteer diaktifkan pada kendaraan. Ternyata untuk 29 051 mobil di database tidak ada bidang yang diperlukan untuk perhitungan tersebut.
Saat menghitung, NHTSA menganggap semua mobil ini 100% dilengkapi Autosteer, seolah-olah mereka tidak menempuh jarak satu mil sebelum mengaktifkan fungsi ini. Namun, 18 kecelakaan yang melibatkan kendaraan ini dicatat dalam statistik
sebelum Autosteer , yang lebih dari 20% dari 86 kecelakaan yang terjadi dengan kendaraan Tesla tanpa fungsi Autosteer!
Jelaslah bahwa bias serius dalam menghitung statistik akhir sangat menggeser hasil demi keamanan Autosteer. Seberapa kuat tidak diketahui. Kami tidak dapat menghitung data nyata untuk seluruh sampel, karena sebagian besar data rusak. Namun, QCS melakukan perhitungan yang sama untuk 5714 mobil, di mana terdapat informasi odometer lengkap "sebelum Autosteer" dan "setelah Autosteer" tanpa celah di antara dua titik ini (ini adalah kelemahan lain dari pangkalan Tesla: di banyak mobil kedua angka ini tidak cocok). Jadi, pada sampel normal, perhitungan menunjukkan bahwa tingkat kecelakaan setelah menginstal Autosteer meningkat sebesar 59%. Meskipun ini tidak dapat dianggap sebagai angka objektif, karena 5714 mobil mewakili bagian terlalu kecil dari armada Tesla dan tidak ada cara untuk memahami apakah mereka adalah sampel yang representatif.
Rupanya, NHTSA telah lama menyadari kesalahannya, terlalu malu untuk mengakuinya. Kembali pada bulan Mei tahun lalu, departemen menjauhkan diri dari laporannya sendiri,
menyebutnya sebagai "perbandingan sepintas" yang "tidak mengevaluasi efektivitas teknologi Autosteer".
Mengapa mereka menolak untuk mengirimkan data sumber ke QCS untuk diperiksa ulang begitu lama? Setelah semua, permintaan informasi dikirim pada Februari 2017, sekitar satu bulan setelah publikasi laporan asli. Agensi tidak dapat segera merilis informasi karena Tesla menyatakan privasi data.
Hanya selama
persidangan pengadilan menolak argumen NHTSA tentang kerahasiaan statistik dan memerintahkan informasi tersebut untuk dibuka klasifikasi.