Kamera atau laser

Sensor apa yang akan paling penting dalam kendaraan tak berawak? Sensor-sensor yang mengendalikan apa yang disebut sistem persepsi, dan ini adalah hal terpenting dalam berkendara. Tugas sistem persepsi adalah untuk mendeteksi semua objek penting di atau dekat jalan, misalnya, kendaraan lain, pejalan kaki, sampah, dan dalam beberapa kasus, objek jalan, seperti rambu dan marka jalan.

(Posisi di jalan juga tergantung pada sensor).

Sistem persepsi harus mendeteksi semua hambatan dan mencoba mengidentifikasi mereka. Dia perlu mengukur kecepatan dan arah mereka, dan juga untuk memprediksi pergerakan mereka. Ini adalah tugas yang sangat sulit.

Dua kesalahan utama dalam sistem persepsi adalah false positive (kebutaan) dan false positive (benda hantu).

Respon negatif palsu adalah situasi di mana hambatan tidak terdeteksi. Hal ini dapat menyebabkan konsekuensi bencana jika sistem bekerja dengan cara ini begitu lama sehingga Anda tidak dapat dengan aman mengatasi kendala tersebut. Sistem yang baik hampir tidak akan pernah menghasilkan hasil negatif palsu. Mungkin diperlukan beberapa saat ekstra untuk mengenali kendala, mungkin melewatkan sesuatu karena tiba-tiba berkedip, tetapi kesalahan berulang dapat menyebabkan kecelakaan. Mengatakan "tidak pernah", maksudku "hampir tidak pernah", dari tatanan persatuan bagi jutaan orang.

Hasil positif palsu adalah jenis kesalahan lain. Dalam kasusnya, sistem melihat sesuatu yang sebenarnya tidak ada, dan ini memaksa mobil untuk rem atau runtuh. Ini mengganggu penumpang, dan jika mereka tidak diikat, itu dapat menyebabkan cedera. Ini juga dapat menyebabkan kecelakaan jika mobil lain bepergian sangat dekat atau dengan pengereman dan tikungan yang terlalu tajam. Biasanya, kasus seperti itu tidak berbahaya, tetapi jika ini terjadi terlalu sering, maka pengguna akan meninggalkan sistem.

Klasifikasi yang salah juga dikaitkan dengan kesalahan di atas. Klasifikasi yang salah berarti pengendara sepeda keliru untuk pejalan kaki, atau bahwa dua sepeda motor dikira satu mobil. Bahkan tanpa identifikasi yang akurat, mesin tahu bagaimana tidak menabrak rintangan, tetapi sistem mungkin salah menentukan ke mana ia bergerak atau bagaimana cara terbaik untuk menanggapinya.

Kelas kesalahan lainnya adalah kegagalan total. Sensor atau perangkat lunaknya dapat mengalami kegagalan fungsi atau tidak berfungsi dengan benar. Anehnya, ini dibolehkan lebih sering daripada kebutaan, karena sistem akan tahu bahwa sensor rusak dan tidak akan menerima datanya. Dalam hal ini, dia akan bergantung pada sensor siaga, atau berusaha untuk keluar dari jalan sesegera mungkin menggunakan sensor lain, jika ini tidak cukup. Meskipun ini juga tidak boleh terjadi terlalu sering, jika tidak orang akan berhenti mempercayai sistem.

Ada banyak sensor penting untuk kendaraan tak berawak, tetapi yang paling banyak diteliti dan dibahas adalah sungkup dan kamera.



Lidar adalah radar berbasis cahaya. Sensor mengirimkan pulsa pendek sinar laser yang tidak terlihat oleh mata dan mendeteksi berapa lama cahaya yang dipantulkan kembali. Dengan demikian, sistem mengenali kecerahan dan jangkauan target dengan cukup akurat.

Lidar memiliki keuntungan besar:

• Ia sangat andal dalam mendeteksi berbagai objek dengan ukuran yang cukup dan menghitung jarak, ukuran, dan posisinya yang sangat mendekati keandalan 100%.
• Hasil Lidar adalah peta 3D dunia di sekitar. Sangat mudah untuk memilih sesuatu dari objek di belakang sensor (atau di depannya)
• Lidar menggunakan cahaya yang dipancarkan, sehingga berfungsi terlepas dari cahaya sekitar. Siang atau malam, berawan atau cerah, langit mendung atau matahari bersinar - Lidar terlihat hampir sama di semua kondisi.
• Ini tahan terhadap gangguan dan memiliki resolusi yang jauh lebih tinggi daripada radar.
• Beberapa Larsar dapat menentukan kecepatan suatu objek menggunakan efek Doppler.

Namun, ada kekurangannya:

• Awalnya, larsar sangat mahal. Lidar resolusi tinggi diproduksi dalam jumlah kecil dan harganya lebih mahal dari mobil (model baru muncul dengan harga kurang dari $ 1000)
• Resolusi yang cukup sederhana. Perangkat terbaik menerima gambar 128 piksel dalam pemindaian vertikal dengan frekuensi 10 Hz.
• Kisaran terbatas. Lidar sedang melihat pada jarak 70-100 meter dan menerima lebih sedikit pengembalian dari benda besar seperti mobil pada jarak sekitar seratus meter. Beberapa mengklaim bekerja hingga 200 meter, tetapi ini diragukan. Lidar 1,5 mikron, yang bahkan lebih mahal, bisa melihat lebih jauh.
• Kebanyakan Larsar memiliki bagian yang bergerak untuk memindai dunia. Lidar flash memang berfungsi tanpa komponen yang bergerak, tetapi sekarang harganya lebih mahal (pada lidar solid-state generasi baru, jumlah komponen yang bergerak diminimalkan, atau dihilangkan seluruhnya).
• Kecepatan refresh biasanya lebih rendah. Selain itu, ketika lidar memindai adegan, itu terdistorsi karena pergerakan mobil yang dipindai dan objek lain, dan karena tepi yang berbeda dari pemandangan dipindai pada waktu yang berbeda, offset terjadi.
• Lidar dapat mengalami masalah dengan hujan lebat, salju, dan kabut, meskipun sensor cahaya lainnya, termasuk kamera, berperilaku serupa. Lidar juga kadang-kadang dapat memicu hal-hal yang tidak terlihat seperti asap knalpot.
• Lidar paling baik dipasang di luar. Mereka membutuhkan setiap foton, jadi jangan melemahkan mereka dengan memasangnya di belakang kaca depan.

Kamera

Sistem berbasis kamera berperilaku seperti manusia. Satu atau lebih kamera mengamati pemandangan, dan perangkat lunak mencoba melakukan hal yang sama dengan seseorang - untuk membayangkan dan memahami dunia tiga dimensi dari gambar dua dimensi.

• Kamera sangat murah. Biaya peralatan hanya puluhan dolar, Anda dapat memiliki cukup banyak dari mereka.
• Karena kamera yang sensitif terhadap cahaya tampak menggunakan cahaya yang dipantulkan, mereka dapat melihat jarak sewenang-wenang di siang hari jika mereka memiliki bidang pandang yang cukup sempit dan dapat diarahkan. Di malam hari, mereka harus menggunakan cahaya yang ditransmisikan - seperti lampu depan Anda.
• Mereka melihat warna. Lidar melihat nuansa abu-abu dalam spektrum inframerah.
• Kecuali jika kamera dipandu, mereka tidak memiliki bagian yang bergerak; jika tidak, mereka dapat menerima gambar resolusi tinggi bahkan untuk objek jarak jauh. Bahkan dalam akses luas ada kamera dengan resolusi sangat tinggi - sementara LIDAR melihat 64 garis, kamera melihat 3000.
• Karena resolusi dan warnanya yang tinggi, kamera dapat menarik kesimpulan tentang adegan yang tidak dapat diperoleh dari gambar resolusi rendah yang diperoleh dari lidar.
• Kamera dapat melihat lampu lalu lintas, dimensi, sinyal belok, dan sumber cahaya yang dipancarkan lainnya. Kamera bagus untuk membaca karakter.

Namun, kamera memiliki beberapa kelemahan, dan yang pertama banyak merusak:

• Saat ini, visi komputer tidak berfungsi dengan cukup baik untuk mendeteksi semua fitur penting dengan keandalan yang diperlukan untuk berkendara yang aman.
• Kamera harus bekerja dengan mengubah pencahayaan. Objek yang diamati sering tunduk pada pergerakan bayangan, dan juga dapat menyala dari segala arah (atau tidak menyala sama sekali).
• Di malam hari, kamera membutuhkan pencahayaan tambahan, dan lampu depan mungkin tidak cukup.
• Tugas penglihatan komputer membutuhkan prosesor berkinerja tinggi atau chip tertentu untuk beroperasi pada tingkat persyaratan saat ini.

Visi komputer

Pemrosesan gambar dari kamera secara kasar dapat dibagi menjadi dua kategori: "visi komputer" dan "visi mesin". Visi mesin mengacu pada analisis gambar digital yang sederhana dan terlokalisasi. Ini termasuk tugas-tugas seperti mencari detail dan tepi gambar, menentukan gerakan dan paralaks gerak, serta menerapkan paralaks untuk gambar stereo untuk menentukan jarak. Metode-metode ini cukup mapan, dan banyak dari mereka cukup dimengerti. Beberapa tugas penglihatan mesin (seperti mengenali dan membaca rambu-rambu jalan) lebih sulit, tetapi akan segera diselesaikan.

Visi komputer mengacu pada serangkaian tugas yang lebih kompleks yang membutuhkan keterampilan mirip manusia, termasuk kemampuan untuk memahami gambar. Tugas-tugas ini juga menyiratkan keterampilan seperti kemampuan untuk membagi gambar menjadi segmen dan mengenali objek. Anda dapat menunjukkan gambar orang lain kepada orang yang berada dalam hampir semua situasi dan dalam cahaya apa pun, dan pengamat dapat dengan mudah menentukan apa orang itu di dalam gambar, dan bahkan pada jarak berapa dia berada. Kita bahkan dapat menentukan perhatian apa yang diarahkan dan apa yang dilakukan orang yang digambarkan itu. Algoritma di bidang ini menjadi lebih baik dan lebih baik, tetapi belum pada tingkat yang memadai.

Beberapa tugas mencapai zona perbatasan. Alat visi mesin mencari detail di gambar, dan melakukannya terlepas dari ukuran dan orientasi gambar. Ini memungkinkan Anda mendeteksi mobil, pejalan kaki, batas jalan, dan marka jalan lainnya. Masalah umum dari identifikasi yang akurat adalah salah satu yang banyak orang percaya pada akhirnya akan diselesaikan, tetapi jauh lebih sulit untuk diprediksi kapan ini akan terjadi. Mengemudi membutuhkan sistem untuk "tidak pernah melewatkan" apa pun yang bisa menjadi masalah keamanan. Yang paling sulit adalah hambatan stasioner yang sangat jauh sehingga gambar stereo tidak bekerja, dan paralaks gerakan (bagaimana benda bergerak melawan latar belakang dalam kaitannya dengan benda lain selama gerakan Anda) juga terbatas. (Objek yang Anda tuju langsung, seperti pejalan kaki atau mobil yang berdiri, akan memiliki paralaks gerakan yang sangat kecil)

Masalah lain untuk sistem penglihatan artifisial adalah variasi pencahayaan dan naungan. Objek bisa menyala dari segala arah. Juga, matahari mungkin ada di belakang mereka. Seringkali, bayangan melintasi objek itu sendiri. Dalam hal ini, akan diperlukan untuk menggunakan teknologi HDR agar dapat melihat detail di setiap area gambar ketika batas bayangan mengaburkan fitur karakteristik objek dalam gambar kontras.

Ada jenis kamera khusus, yang dikenal sebagai gelombang panjang inframerah atau "termal," yang menggunakan cahaya yang dipancarkan daripada dipantulkan. Objek yang berada dalam bayangan relatif terhadap sinar matahari masih akan dikaburkan dalam gambar, tetapi tidak akan ada bayangan bergerak lagi. Gambar termal adalah monokrom dan berfungsi sama baiknya siang dan malam, meskipun pada malam hari hasilnya sedikit lebih baik. Kamera seperti itu bisa lebih baik dilihat dalam kabut dan beberapa kondisi cuaca lainnya. Mereka bisa sangat baik dalam mendeteksi makhluk hidup, kecuali ketika suhu bumi sama dengan suhu tubuh manusia. Sayangnya, kamera termal sangat mahal, dan model dengan resolusi yang baik bahkan lebih mahal. Mereka juga harus dipasang secara eksternal karena gelombang infra merah tidak melewati kaca. Saat ini, tidak ada laporan tentang penggunaan praktis dari kamera ini, namun, beberapa penelitian sedang dilakukan.

Ada beberapa potensi dalam bidang pencitraan "hyperspectral", di mana Anda memiliki kamera yang bekerja dalam banyak rentang warna, termasuk inframerah dan ultraviolet. Dengan gambar seperti itu, akan lebih mudah mengenali beberapa jenis objek.

Orang dapat mengubah gambar dua dimensi yang diamati menjadi model dunia tiga dimensi, dan pada saat yang sama melakukannya jauh lebih baik setelah memeriksa pemandangan dan mengamati paralaks gerak. Komputer saat ini sedang dalam menganalisis gambar diam dan hanya sesekali menggunakan gerakan. Orang-orang menggunakan gambar stereo, tetapi mereka juga bisa mengemudi ketika satu mata tertutup atau hilang.

Pada gilirannya, Lidar dapat membuat peta tiga dimensi penuh adegan dalam satu pass. Beberapa lintasan dapat meningkatkan gambar - dan membantunya menghargai kecepatan.

Pembelajaran yang mendalam

Sebagian besar kegembiraan saat ini dalam visi komputer dikaitkan dengan jaringan saraf convolutional, khususnya yang dibuat menggunakan alat yang disebut Deep Learning, yang meniru banyak kemampuan otak biologis. Banyak orang berpikir bahwa arah ini akan menjadi terobosan. Jaringan pembelajaran yang dalam bekerja dengan perangkat pembelajaran yang besar (dan sampai batas tertentu bahkan dapat bekerja tanpa pelatihan khusus) untuk lebih memahami pandangan dunia dan mengambil tindakan. Orang-orang menciptakan robot, yang dilakukan di medan yang kasar menggunakan teknik pembelajaran yang mendalam, setelah itu robot-robot ini mampu mempelajari gerakan dalam kondisi yang sama.

Ini adalah pekerjaan yang hebat, tetapi kami masih jauh dari akurasi tinggi yang diperlukan untuk kendaraan tak berawak. Juga mengganggu bahwa ketika bekerja dengan pembelajaran yang mendalam, kita tidak tahu persis mengapa ini berhasil, kita hanya memiliki fakta pekerjaan. Anda dapat melatih ulang jaringan saraf untuk memperbaiki kesalahan, tetapi Anda tidak bisa memastikan mengapa pelatihan ulang telah memperbaiki segalanya. Kelemahan yang sama juga merupakan karakteristik otak manusia, hanya seseorang yang dapat menjelaskan kepada Anda mengapa ia bertindak dengan satu atau lain cara.

Ada pandangan berbeda tentang pelatihan mendalam dalam kendaraan tak berawak dari sudut pandang hukum. Pembelajaran mesin dapat melukai Anda karena Anda tidak mengerti cara kerjanya, dan ini bisa berguna karena Anda menerapkan teknik terbaik dengan indikator keamanan yang baik dan tidak membuat kesalahan yang bisa disebut ceroboh.

Pembelajaran mesin cenderung meningkatkan kualitas pekerjaan dengan peningkatan jumlah data pelatihan, itulah sebabnya upaya besar seperti itu dilakukan untuk membuat volume besar data tersebut. Namun, jaringan saraf tidak dapat mengenali hal-hal yang belum pernah mereka lihat (atau melihat benda serupa).

Sensor lainnya

Sensor terpenting lainnya adalah radar. Radar ini memiliki keunggulan luar biasa. Pertama, dia melihat dengan baik melalui kabut, sementara sensor optik tidak dapat mengatasi hal ini. Kedua, ia melihat mobil-mobil lain dengan baik dan setiap hantaman radar memberikan informasi tidak hanya tentang jarak, tetapi juga tentang kecepatan, berkat efek Doppler. Ini bahkan lebih dari informasi dari LIDAR - satu bidikan radar menunjukkan semua hambatan bergerak dan kecepatannya. Radar dapat mengevaluasi pantulan dari jalan di bawah mobil atau truk di depan Anda dan memberikan informasi tentang tindakan mobil di zona buta truk - ini adalah trik yang sangat pintar.

Radar menawarkan resolusi yang jauh lebih rendah. Ada radar resolusi tinggi eksperimental, tetapi mereka membutuhkan spektrum radio besar (rentang frekuensi) - lebih dari apa yang dihasilkan regulator. Radar tidak mungkin memberi tahu Anda apakah target ada di jalur Anda atau tidak, atau apakah itu di jalan layang atau jalan di depan Anda.

Objek yang diperbaiki juga mencerminkan sinyal radar, dan ini merupakan masalah. Bumi, tanda, pagar - semuanya mengembalikan sinyal bahwa benda itu statis. Jadi, ketika mobil yang berdiri memantulkan sinyal radar, Anda tidak dapat memastikan bahwa ini adalah tanda di tepi jalan atau mobil yang diparkir di sana. Sebagian besar radar mobil mengabaikan pantulan dari benda-benda statis, yang merupakan salah satu alasan bahwa untuk waktu yang lama kontrol pelayaran otomatis tidak berfungsi dalam arus lalu lintas, di mana Anda sering perlu gas dan rem.

Sebagai hasil dari penelitian baru, sebuah radar dengan resolusi lebih tinggi telah dibuat, dan penelitian juga sedang dilakukan untuk mengenali objek dengan fitur karakteristik mereka dalam pantulannya. Radar digital dengan array bertahap dapat memeriksa pemandangan dan meningkatkan resolusi satu derajat. Ini tidak cukup, tetapi sudah merupakan perbaikan.

Asosiasi Sensor

Saat Anda menggunakan lebih dari satu sensor, Anda ingin menggabungkan semua data sehingga Anda dapat memahami bahwa mesin yang dideteksi radar sama dengan apa yang dilihat oleh kamera atau lidar. Ini meningkatkan kualitas data yang diterima, tetapi juga bisa merugikan. Kombinasi sensor tidak dapat diandalkan 100%. Apa yang akan Anda lakukan jika radar menunjukkan bahwa ada mobil di depan, dan kamera menganggap itu bukan (atau sebaliknya)? Anda harus memilih apa yang harus dipercaya. Jika pilihannya salah, maka masalah mungkin muncul. Jika Anda percaya pada pesan tentang hambatan, Anda dapat mengurangi kebutaan (yang sangat penting), tetapi Anda dapat memperhitungkan hambatan yang tidak ada dari kedua sensor. Terkadang Anda mendapatkan yang terbaik dari dua dunia, dan terkadang yang terburuk.

Meskipun demikian, karena semua sensor memiliki berbagai keterbatasan, integrasi sensor tetap menjadi tujuan utama sebagian besar tim yang terlibat dalam robot.

Kombinasi sensor dapat dilakukan tanpa komplikasi, jika masing-masing sensor lebih baik mengatasi tugas tertentu atau bidang pandang yang terpisah. Kemudian Anda memercayai sensor pekerjaan yang mereka lakukan yang terbaik.

(Perlu dicatat bahwa kombinasi yang baik dari sensor dilakukan dengan mempertimbangkan data mentah dari semua sensor - Anda tidak hanya membuat keputusan berdasarkan fakta bahwa mobil hadir dalam data radar, tetapi tidak dalam data kamera. Namun, banyak objek akan ditampilkan dalam satu set data dari sensor lebih jelas daripada yang lain.)

Penentuan posisi

, (, ). , 3D, , .

GPS, . . GPS ( GPS ), .

, , , ?

, . ?

2020 . – .

. , Velodyne 75 000 $, 32 . . , , 1982 5- 3000 $, , . , , , .

, . , , , . , , . , ,

, , .

. , , . , .

MobilEye, Intel, (, , ), , , , . 4 , .

, . , , . , . .

, . , . , , , VisLab , , , Mercedes 6D MobilEye, .

, , , , – . , .

, , , . , , , .

, “Super Cruise”, , . ( , ) , . , , , , .

, – . , . 99% , 99% 99.9999% . . , , , .

. , , , , . , - . , 10-20% , , - , , . , , , , , , .

- , - . , , 100 000 $, 3000 $ .

?

, , , .

, . , 400 000 . 170 290 . , 3 , 6000 . , .

, . , - ( 80% , ). - . , . - , , – , . - , , , .

, , . , . , , . . .

, , , , , . , , , . - , , , – . , .

. , , , .

. , . , . ( , ) - .

, , , . , , , . , - .

, , , . , . , , ( ), , , . - , , .

, . , “ ” , 40 /. , 3D, .

, , ( Microsoft Kinect). 3D, , , .

, , . , . , – .

, , , . , . , . , , . . , , , . , . , 99.9% , , , , , . , .

, , - . , , . - – , . , 99.99999%, .

, , . , . , 1 10 000 100 000 , -, .

, -, 2017 2019 , . – , . , , , , . , , . , , .

, 2020, , , , , .

( 25 /) , .

, , , – , ?

Tesla

, Tesla , “” , “”. 8 , : . , , . , , .

Tesla , , , . , , , , . , - , .

, , . Velodyne, , , 64 . 10 . 905 (, ) . Velodyne 32 16 10 000 $.

, . , , , , , .

. – , . , , , , DVD. , , .

. 16- Velodyne 10 000 $. Quanergy, , 8 . Valeo/IBEO 250 4 , , Velodyne , 300 . .

, :

• , , , . . 360 , Velodyne . , , .
• Lidar flash mengirim flash terang ke seluruh area, dan kemudian diterima oleh berbagai sensor dan timer yang dapat mengambil gambar seluruh adegan sekaligus. Ada banyak keuntungan pada desain ini - tidak ada bagian yang bergerak dan Anda tidak akan mendapatkan artefak gerak, karena dunia dan sensor bergerak selama pemindaian. Dalam lidar pemindaian, semua objek diregangkan dan didistorsi karena bergerak relatif terhadap sensor. Sebuah flash lidar sangat mahal saat ini - perlu chip sensor khusus, dan denyut nadi harus sangat kuat untuk menerangi seluruh bidang tampilan sekaligus.
• Mikroskop adalah cermin bergerak ultra-tipis yang dibuat berdasarkan chip silikon. Ini adalah cara kerja kebanyakan proyektor video. Meskipun ada bagian yang bergerak, mereka sangat kecil dan bisa sangat ringan dan tahan lama. Beberapa sitar jarak dekat dibangun menggunakan teknologi ini.
• Jika Anda menggunakan cahaya dalam kisaran 1,5 mikron (inframerah rentang menengah), mata manusia tidak lagi memfokuskannya. Ini berarti Anda dapat mengirim pulsa yang lebih terang tanpa menyebabkan kerusakan, dan ini pada gilirannya berarti Anda bisa melihat pada jarak yang lebih jauh. Berita buruknya adalah lampu 1,5 mikron tidak memicu silikon, yang berarti Anda harus menggunakan jenis elektronik lain, teknologi yang tidak memiliki biaya rendah untuk produksi yang luas, seperti silikon. Dengan demikian, lidar 1,5 mikron sangat mahal saat ini.
• Beberapa larsar khusus dibuat untuk melihat lebih jauh, dan mereka bahkan mengambil keuntungan dari efek Doppler, sehingga mereka tahu seberapa cepat objek yang mereka lihat bergerak. Ini sulit dilakukan dalam tutup tujuan umum resolusi tinggi.
• Beberapa kamera Time-of-flight mempelajari cahaya dengan gelombang pembawa dan melihat perubahan fase dari refleksi yang kembali untuk mengukur waktu. Kamera semacam itu bisa sangat murah, tetapi memiliki jangkauan rendah dan noise saat mengukur jarak.

---

Baca lebih banyak artikel bermanfaat:

• Mobil otonom pada sumber terbuka
• Mobil otonom memperhitungkan tingkat keegoisan orang
• McKinsey: Memikirkan Kembali Perangkat Lunak dan Arsitektur Elektronik di Otomotif
• Perang OS lain sudah di bawah kap mobil
• Kode program di dalam mobil
• Di mobil modern, ada lebih banyak baris kode daripada ...