Lidar dan kamera adalah dua item konfigurasi standar untuk hampir semua robomobile. Baik karya pertama dan kedua dengan cahaya yang dipantulkan. Pada saat yang sama, kamera beroperasi dalam mode pasif, yaitu, mereka menangkap pantulan dari sumber cahaya pihak ketiga, tetapi lidar menghasilkan pulsa laser, kemudian mengukur "respons" yang dipantulkan dari objek terdekat. Kamera membentuk gambar dua dimensi, dan kapten membentuk gambar tiga dimensi, sesuatu seperti "awan titik".
Ouster telah
mengembangkan perangkat hybrid yang berfungsi baik sebagai kamera maupun sebagai LIDAR. Sistem ini disebut OS-1. Perangkat ini memiliki bukaan yang lebih besar daripada kebanyakan DSLR, dan sensor yang dibuat oleh perusahaan sangat sensitif.
Gambar yang diperoleh oleh sistem terdiri dari tiga lapisan. Yang pertama adalah gambar yang diperoleh seolah-olah oleh kamera normal. Yang kedua adalah lapisan "laser" yang diperoleh dengan menggunakan pantulan sinar laser. Dan yang ketiga adalah lapisan "dalam", yang memungkinkan Anda memperkirakan jarak antara masing-masing piksel dari dua lapisan pertama.
Perlu dicatat bahwa gambar masih memiliki batasan yang signifikan. Pertama, ini adalah gambar beresolusi rendah. Kedua, mereka hitam dan putih, bukan warna. Ketiga, lidar tidak bekerja dengan sumber cahaya yang terlihat, ia berurusan dengan spektrum yang dekat dengan inframerah.
Saat ini, biaya lidar cukup tinggi - sekitar $ 12.000. Pada pandangan pertama, tidak ada gunanya dalam sistem yang menerima gambar dengan resolusi lebih rendah daripada kamera standar, tetapi harganya seperti jembatan besi. Tetapi para pengembang mengklaim bahwa prinsip kerja yang berbeda digunakan di sini daripada dalam kasus biasa.
Ini adalah materi grafis yang disediakan oleh Ouster. Tiga lapisan gambar dan "gambar" umum ditunjukkan di sini, yang dihasilkan dariDalam situasi tertentu, robomobiles menggabungkan data dari beberapa sumber berbeda, yang membutuhkan waktu. Kamera dan kapel bekerja dalam mode yang berbeda, hasilnya juga berbeda. Selain itu, mereka biasanya dipasang di berbagai tempat di bodi mobil, sehingga komputer juga harus berurusan dengan korelasi gambar sehingga mereka kompatibel. Selain itu, sensor membutuhkan kalibrasi ulang yang teratur, yang tidak begitu sederhana.
Beberapa pengembang LIDAR telah mencoba untuk menggabungkan kamera dengan LIDAR. Tetapi hasilnya tidak terlalu baik. Itu adalah sistem "kamera standar + LIDAR", yang tidak jauh berbeda dari skema yang ada.
Ouster sebaliknya menggunakan sistem yang memungkinkan OS-1 untuk mengumpulkan semua data dalam satu standar dan dari satu lokasi. Ketiga lapisan gambar berkorelasi sempurna, baik dalam waktu maupun dalam ruang. Dalam hal ini, komputer memahami jarak antara piksel individu dari gambar akhir.
Menurut penulis proyek, skema semacam itu hampir ideal untuk pembelajaran mesin. Untuk sistem komputer, pemrosesan gambar semacam ini tidak sulit. Setelah "mengumpankan" sistem beberapa ratus gambar, dapat dilatih untuk memahami dengan tepat apa yang ditampilkan dalam "gambar" terakhir.
Beberapa jenis jaringan saraf dirancang sedemikian rupa untuk bekerja dengan multilayers peta piksel tanpa masalah. Selain itu, gambar mungkin mengandung lapisan merah, biru, dan hijau. Untuk melatih sistem tersebut agar bekerja dengan hasil OS-1 tidaklah sulit. Ouster sudah menyelesaikan ini.
Sebagai bahan sumber, mereka mengambil beberapa jaringan saraf yang dirancang untuk mengenali gambar RGB, dan memodifikasinya agar sesuai dengan kebutuhan mereka, mengajari mereka cara bekerja dengan lapisan gambar yang berbeda. Pemrosesan data dilakukan pada peralatan dengan Nvidia GTX 1060. Menggunakan jaringan saraf, komputer mobil diajarkan untuk "mengecat" jalan dengan warna kuning, dan hambatan potensial - mobil lain - berwarna merah.
Menurut pengembang, sistem mereka adalah tambahan dari yang sudah ada, dan bukan pengganti. Yang terbaik adalah menggabungkan semua jenis sensor, sensor, kamera, sungkup dan sistem hibrida untuk membentuk gambaran yang jelas tentang lingkungan yang akan membantu navigasi mobil.