"Pretend it": bagaimana kendaraan tanpa awak "menyerah ke kanan"

Nvidia Simulator

Secara kasar, ada dua area dalam sertifikasi mobil. Sertifikasi diri populer di AS. Standar keamanan diterbitkan, dan pabrikan mengklaim bahwa produk mereka memuaskannya. Jika muncul masalah, dan ternyata mereka berbohong, maka mereka dihadapkan dengan tanggung jawab hukum tambahan.

Orang Eropa condong ke arah pendekatan yang berbeda, yang dikenal sebagai homologasi, di mana pemerintah atau lembaga pengujian pihak ketiga yang disetujui menyatakan bahwa kendaraan tersebut memenuhi standar.

Dalam kehidupan nyata, kita sering menemukan kombinasi dari pendekatan-pendekatan ini. Misalnya, di AS, uji tabrakan eksternal dilakukan oleh NHTSA (lembaga pemerintah) dan Lembaga Asuransi dan Keselamatan Jalan. Dengan demikian, sistem peringkat NCAP diperoleh. Eropa telah mengadopsi sistem peringkat ini dan telah menjadi cara kunci untuk mensertifikasi keamanan. Kepatuhan NCAP bersifat sukarela, tetapi produsen mobil percaya bahwa jika mereka tidak mendapatkan bintang NCAP, itu akan berdampak besar pada penjualan, sehingga sebenarnya tidak begitu sukarela.

Para pendukung masing-masing metode menganggap pendekatan lain gila. Ini khususnya benar ketika menyangkut kendaraan tak berawak yang tidak mematuhi banyak peraturan lama.

Pada konferensi akselerator grafis Nvidia pada hari Rabu, perwakilan dari AVL, sebuah laboratorium pengujian swasta besar Eropa dan perusahaan swasta terbesar di industri otomotif, mengemukakan gagasan mereka tentang bagaimana mereka dapat menguji dan mensertifikasi kendaraan tanpa awak.

Itu adalah rencana uji yang bisa dibayangkan banyak orang, dan itu termasuk poin-poin berikut:

• Pengujian pribadi langsung
• Pengujian modulasi perangkat lunak dan perangkat keras dengan tambahan skrip pilihan acak dari perpustakaan kaya tes yang sudah diketahui, termasuk pengujian situasi ekstrem yang tidak mudah diverifikasi di dunia nyata.
• Beberapa tes di jalan umum

Orang Eropa menyatakan pandangan bahwa pendekatan Amerika yang lebih tua, yang mencakup sertifikasi diri sesuai dengan standar keselamatan fungsional ISO 26262, serta kepatuhan wajib dengan standar keselamatan kendaraan federal dan peringkat sukarela NCAP, tidak benar. Semua moda transportasi lain diuji dan disertifikasi oleh otoritas pengawas negara. Mereka juga mengatakan bahwa 737 kecelakaan baru-baru ini menunjukkan apa yang terjadi ketika pendekatan yang salah, sehingga mereka menginginkan sertifikasi lebih dengan standar yang lebih ketat.

Ini bukan satu-satunya pendekatan yang diusulkan di Eropa. Lembaga sertifikasi Belanda RWB menawarkan semacam SIM , yang akan lebih seperti tes mengemudi daripada sertifikasi pada daftar parameter.

Cek mengemudi manusia mengerikan

Setiap set tes standar hanya akan mencakup sebagian kecil dari apa yang perlu diverifikasi. Sulit membayangkan apa yang bisa berbeda. Contohnya adalah memperoleh SIM, terutama di Amerika Serikat. Tes ini hampir tidak mencakup apa pun, dan driver remaja dengan tingkat pengetahuan yang mengerikan lulus secara rutin. Kami setuju dengan ini karena kami percaya bahwa orang pada dasarnya tahu bagaimana melakukan hal-hal tertentu tanpa membuktikannya dalam ujian, dan karena kami tidak ingin membuat tes itu terlalu rumit. Tetapi di beberapa negara, masalahnya jauh lebih rumit.

Pertimbangkan pemimpin industri, Waymo. Mobil-mobil Waymo telah menempuh jarak 15 juta mil uji. Mereka juga mencatat sekitar 10 miliar "mil" dalam simulasi. (Selain itu, tidak seperti mil nyata, yang dalam 99,9% kasus hanya mengemudi membosankan, mil dalam simulasi adalah situasi khusus yang dirancang untuk memuat perangkat lunak).

Namun terlepas dari semua ini, Waymo hampir tidak siap untuk melepaskan mobil mereka dengan aman di jalan. Tahun lalu, mereka mengumumkan bahwa mereka akan beroperasi secara real time pada akhir tahun, dan bahwa mereka sudah mengoperasikan kendaraan yang tidak memiliki sopir, atau perangkat dengan monitor keamanan yang tidak dapat mengambil kendali.
Bahkan, mereka hanya menerapkan sebagian kecil dari operasi otonom, dan layanan komersial mereka sangat terbatas (teori saya adalah bahwa kecelakaan dengan mobil Uber mengurangi toleransi publik dan membuat Waymo berperilaku lebih konservatif).

Namun, faktanya adalah bahwa bahkan setelah semua tes ini (yang dilakukan ribuan kali lebih banyak daripada di laboratorium penelitian apa pun) Waymo masih belum yakin bahwa mereka siap untuk dilepaskan, meskipun ada perasaan bahwa mereka sudah dekat. Saya ulangi, seribu kali lebih banyak tes.

Laboratorium sertifikasi sebaiknya mengkonfirmasi bahwa kendaraan yang diuji memenuhi semua persyaratan dasar. Ini berarti bahwa tim pengembangan tidak lalai atau kurang keahlian. Ini penting dan berharga, tetapi tidak mengkonfirmasi bahwa mobil siap meninggalkan jalan tanpa pengawasan. Mobil Uber mungkin tidak lulus uji seperti itu, tetapi mereka tidak berusaha untuk menyatakannya untuk penggunaan tanpa awak atau komersial. Itu hanya prototipe yang mungkin dikendarai oleh pengemudi yang ceroboh.

Dengan demikian, proses sertifikasi akan mahal dan memakan waktu, dan hampir tidak berguna. Terlalu banyak birokrasi dan kurangnya pemeriksaan keamanan yang nyata bukanlah perangkat yang baik.

Simulasi untuk sertifikasi

Tes standar, terutama simulasi, tidak cocok untuk sertifikasi. Ini karena pabrikan akan menginginkan dan mengakses skenario simulasi. Pabrikan ingin menguji mobil mereka dalam skenario ini sebelumnya, dan jika ada pengujian yang gagal, mereka akan melakukan koreksi pada mesin. Pabrikan tidak akan lulus mobil untuk sertifikasi sampai menerima tanda yang sangat baik di semua tes. Ini memaksa produsen untuk meningkatkan mobil mereka, tetapi tidak memberikan informasi tentang kualitas mobil-mobil ini. Kita hanya tahu bahwa mereka lulus ujian yang harus lulus.



Simulasi jalan pada hari hujan.

Anda tidak akan tahu seberapa baik mobil dibuat jika Anda mengujinya pada tes yang telah dilihatnya. Anda akan tahu betapa bagusnya ketika Anda menghabiskan banyak tes yang dilihat mobil ini untuk pertama kalinya, dan ketika Anda melihat seberapa baik itu menanganinya. Hanya dengan cara ini Anda dapat mengetahui seberapa baik mobil ini dapat mengatasi situasi baru yang tak terbatas yang akan dihadapinya di dunia nyata.

Satu-satunya cara untuk benar-benar mengalami mobil adalah dengan mengujinya dalam situasi sulit yang belum pernah dilihatnya sebelumnya. Begitu situasi muncul di salah satu tes, vendor mencari tahu tentang hal ini dan memasukkannya ke dalam koleksi tes mereka sendiri. Ini berarti bahwa lembaga sertifikasi harus secara konstan mengusulkan sejumlah besar tes baru, bermakna dan realistis. Ada banyak pilihan berbeda untuk situasi pengujian, dan dalam kasus kendaraan tak berawak, kasus tepi dapat ditemukan bahkan di tengah jalan, tetapi ada beberapa batasan.

Regulator harus memperbarui tes secara teratur. Banyak produsen mobil akan sering merilis perangkat lunak versi baru. Selama pengujian, mereka merilis versi baru setiap hari. Ketika mesin dimasukkan ke dalam produksi, pembaruan masih akan dirilis kira-kira sebulan sekali, dan jika kesalahan keamanan terdeteksi, bahkan lebih sering. Melakukan tes baru setiap bulan untuk setiap perusahaan tidak praktis. Anda dapat dengan mudah membuat skenario simulasi secara teratur yang merupakan variasi dari skenario yang ada, tetapi Anda memerlukan tes realistis yang serupa dengan apa yang dapat terjadi di dunia nyata. Anda tidak ingin membuat kesalahan atau mentransfer mesin ke produksi hanya berdasarkan bagaimana ia menangani situasi yang tidak akan pernah terjadi.

Juga patut dicatat bahwa miliaran mil dalam simulasi yang dikendarai oleh mobil-mobil Waymo benar-benar berbeda dari AVL atau yang ditunjukkan oleh Nvidia. Mereka adalah simulator penuh yang memerlukan pengakuan informasi visual yang mencoba menciptakan dunia virtual dalam gaya video game, kemudian memberikan perangkat lunak mobil dengan gambar buatan dari kamera, pemindaian Lidar dan data radar, setelah itu mereka memberi komputer kesempatan untuk mencoba mengendalikan mesin virtual. Ada tiga tingkat pengujian yang berbeda yang mencoba mensimulasikan data sebanyak mungkin untuk memaksimalkan kinerja alat berat.

Simulasi ini bermanfaat, tetapi jauh lebih cepat untuk melakukan simulasi yang bekerja dengan informasi yang tidak perlu dikenali. Dalam pendekatan ini, Anda tidak menciptakan dunia virtual yang terlihat, melainkan Anda membuat representasi dasarnya. Simulator tahu di mana semua objek berada pada level abstrak, tetapi tidak menampilkannya untuk dikenali oleh program. Sebagai gantinya, tes turun satu tingkat dan mengganti sistem persepsi dengan modul yang melaporkan informasi yang sama dengan sistem yang diganti. Misalnya, ia dapat melaporkan bahwa dengan probabilitas 85%, mobil bepergian ke arah tertentu, atau pejalan kaki berada di area tertentu dengan probabilitas 90%. Dalam simulasi seperti itu, diperiksa bahwa mesin menerima semua informasi ini. Ini hanya pengujian parsial, tetapi sangat cepat sehingga Anda dapat melakukan lebih banyak tes. Kombinasi metode yang berbeda harus digunakan, tetapi sebagian besar jarak uji akan dilewati dalam tes pasca-persepsi, dan seperti yang saya pahami, miliaran uji jarak untuk mobil Waymo telah diperoleh dengan cara ini.

Tes yang memerlukan pengakuan, atau simulasi dengan visualisasi, terlihat jauh lebih baik sebagai demo, karena mereka menawarkan gambar gaya video game realistis yang disukai orang. Mereka bagus untuk menguji semua aspek mobil, termasuk sistem persepsi, tetapi masalahnya adalah mereka menguji mobil di dunia buatan, bukan dunia nyata. Ada kemungkinan bahwa sistem akan mengenali pejalan kaki game virtual dengan sangat baik, tetapi tidak begitu baik dengan pejalan kaki nyata di dunia nyata. Situasi ini berarti Anda menerima informasi yang salah dari jenis simulasi ini.

Inspektur dari lembaga pemerintah melangkah lebih jauh. Mereka menggunakan 3 jenis simulasi dengan tampilan visual:

• Simulasi dasar di mana Anda cukup menjalankan perangkat lunak mobil di komputer, komputer menghasilkan gambar buatan dari sensor dan memungkinkan Anda untuk mengontrol mesin virtual menggunakan perintah perangkat lunak.
• Modulasi perangkat lunak dan perangkat keras, di mana mobil sungguhan terhubung ke komputer dengan simulasi yang mencoba berperilaku seperti sensor sungguhan dan mobil untuk komputer on-board mobil sungguhan.
• Simulasi perangkat keras dari tumpangan nyata, di mana mobil ditempatkan pada dudukan rol, di mana mobil dapat menggulirkan roda. Stand ini terletak di sebuah ruangan besar di mana robot dibangun kembali agar terlihat seperti mobil dan pejalan kaki dan bergerak di sekitar stand, mensimulasikan perilaku objek dari dunia nyata. Idealnya, sensor nyata harus digunakan, meskipun mungkin perlu menggunakan kamera dan radar buatan. Dalam hal kamera, Anda bisa mengarahkannya ke layar yang terkunci.

Semua opsi ini terdengar bagus, meskipun nomor 3 tidak mungkin dalam beberapa kasus (misalnya, untuk mobil Waymo yang mendeteksi posisinya dari tekstur jalan yang diterangi laser yang bersisik di bawah rodanya dan menggunakan sejumlah sensor kompleks lainnya). Namun, semua opsi ini lambat, mahal, dan menderita dari masalah yang dijelaskan di atas. Mereka harus bekerja secara real time, yang sebenarnya bisa menjadi batasan besar dibandingkan dengan pengujian konvensional atau pengujian tanpa tampilan, yang dapat ditingkatkan untuk melakukan pengujian serius yang diperlukan.

Orang luar tidak tahu cara menguji

Dalam kasus laboratorium eksternal, pengujian tanpa visualisasi sangat berbeda. Mereka hanya dapat dilakukan dalam kolaborasi erat dengan tim pengembangan kendaraan. Yang benar adalah bahwa tim tahu cara menguji mobil mereka lebih baik daripada orang lain. Selain itu, karena tim-tim ini mengembangkan cara-cara yang sama sekali baru untuk memastikan keselamatan yang tidak ada sebelumnya, orang luar mungkin tidak dapat sepenuhnya memahami sistem keamanan kendaraan yang sedang diuji. Standar hanya dapat mendefinisikan kebenaran umum dan praktik terbaik yang ada. Mereka tidak menyiratkan inovasi. Tidak ada tes yang jelas untuk menguji kualitas inovasi keamanan. Untuk melakukan ini, Anda harus membuat tes baru.

Semua ini tidak memberikan gagasan yang jelas tentang pentingnya pendekatan laboratorium untuk pengujian, tetapi ini tidak berarti bahwa itu tidak penting. Pendekatan semacam itu dapat menetapkan persyaratan pengujian minimum, dan pengembang kendaraan tak berawak akan membuat kontrak dengan perusahaan pengujian dan menggunakan layanan mereka untuk memahami bahwa mobil mereka memenuhi persyaratan yang sangat minimum ini. Dan juga kontrak dapat disimpulkan untuk meningkatkan tingkat kualitas di atas persyaratan minimum.

Namun, tes yang diusulkan oleh AVL tidak akan memberikan informasi yang cukup. Kendaraan tak berawak dapat lulus tes ini dan masih memiliki masalah serius dan menimbulkan risiko besar. Satu-satunya cara untuk meminimalkan risiko ini adalah dengan melakukan tes yang dikembangkan oleh pabrikan mobil, serta pengujian di jalan nyata dalam berbagai situasi. Anda harus memastikan bahwa kepentingan produsen bertepatan dengan kepentingan masyarakat, dan bahwa ada alasan kuat untuk tidak menipu, tidak berbohong, dan tidak mengabaikan. Ini masih merupakan masalah yang belum terselesaikan, tetapi banyak perhatian telah dibayarkan untuk itu.

---

Baca lebih banyak artikel bermanfaat:

• Kamera atau laser
• Mobil otonom pada sumber terbuka
• McKinsey: Memikirkan Kembali Perangkat Lunak dan Arsitektur Elektronik di Otomotif
• Perang OS lain sudah di bawah kap mobil
• Kode program di dalam mobil
• Di mobil modern, ada lebih banyak baris kode daripada ...