Baru-baru ini, saya jelaskan, berkat robot mana yang akan memulai JAUH lebih baik untuk berpikir (posting tentang akselerasi perangkat keras jaringan saraf ). Hari ini kita akan melihat mengapa robot akan segera lebih baik untuk dilihat. Dalam beberapa situasi, jauh lebih baik daripada seseorang.

Kita akan berbicara tentang kamera kedalaman yang merekam video, di setiap piksel yang disimpan bukan warna, tetapi jarak ke objek pada titik ini. Kamera seperti ini telah ada selama lebih dari 20 tahun, tetapi dalam beberapa tahun terakhir kecepatan perkembangannya telah meningkat berkali-kali dan kita sudah dapat berbicara tentang revolusi. Dan multi-vektor. Perkembangan pesat terjadi di bidang-bidang berikut:

• Cahaya Terstruktur dari kamera , atau kamera cahaya struktural, ketika ada proyektor (sering inframerah) dan kamera yang merekam cahaya struktural proyektor;
  
• Time of Flight , atau kamera berdasarkan pengukuran keterlambatan cahaya yang dipantulkan;
  
• Kedalaman dari kamera Stereo - arah klasik dan, mungkin, yang paling terkenal dari kedalaman bangunan dari stereo;
  
• Light Field Camera - mereka juga kamera lapangan cahaya atau kamera plenoptik, tentang yang ada pos rinci terpisah;
  
• Dan akhirnya, kamera berbasis pada teknologi Lidar , terutama Solid State Lidars , yang bekerja tanpa kegagalan sekitar 100 kali lebih lama dari lidar konvensional dan menghasilkan gambar persegi panjang biasa.
  

Siapa yang peduli seperti apa nantinya, serta perbandingan berbagai pendekatan dan aplikasi mereka saat ini dan besok - selamat datang di bawah cut!

Jadi! Kami akan menganalisis arah utama pengembangan kamar kedalaman atau prinsip yang sebenarnya berbeda untuk mengukur kedalaman. Dengan pro dan kontra mereka.

Metode 1: Kamera Cahaya Terstruktur

Mari kita mulai dengan salah satu metode paling sederhana, tertua, dan relatif murah untuk mengukur kedalaman - cahaya terstruktur. Metode ini muncul pada dasarnya segera, segera setelah kamera digital muncul, mis. lebih dari 40 tahun yang lalu dan sangat disederhanakan sedikit kemudian, dengan munculnya proyektor digital.

Ide dasarnya sangat sederhana. Kami meletakkan di sebelah proyektor, yang membuat, misalnya, garis-garis horizontal (dan kemudian vertikal) dan di samping kamera, yang mengambil gambar dengan garis-garis, seperti yang ditunjukkan pada gambar ini:

Sumber: Autodesk: Pemindaian 3D Cahaya Terstruktur

Karena kamera dan proyektor saling mengimbangi, strip juga akan dipindahkan secara proporsional dengan jarak ke subjek. Dengan mengukur perpindahan ini, kita dapat menghitung jarak ke objek:
Sumber: http://www.vision-systems.com/

Bahkan, dengan proyektor termurah (dan harganya mulai dari 3.000 rubel) dan smartphone, Anda dapat mengukur kedalaman adegan statis di ruangan gelap:

Sumber: Autodesk: Pemindaian 3D Cahaya Terstruktur

Jelas bahwa dalam hal ini sejumlah masalah harus dipecahkan - ini adalah kalibrasi proyektor, kalibrasi kamera ponsel, pengenalan strip shift, dan sebagainya, tetapi semua tugas ini cukup mampu bahkan untuk siswa sekolah menengah yang belajar pemrograman.

Prinsip pengukuran kedalaman ini menjadi yang paling dikenal ketika, pada 2010, Microsoft merilis sensor kedalaman MS Kinect seharga $ 150, yang pada saat itu murah revolusioner.

Sumber: Rekonstruksi Objek yang Sebagian Tersendiri menggunakan Beberapa Sensor Kinect

Terlepas dari kenyataan bahwa selain benar-benar mengukur kedalaman dengan proyektor IR dan kamera IR, Kinect juga merekam video RGB biasa, memiliki empat mikrofon dengan pengurangan noise dan dapat menyesuaikan diri dengan ketinggian seseorang, secara otomatis dimiringkan ke atas atau ke bawah, secara langsung diintegrasikan ke dalam pemrosesan data, yang dikeluarkan ke konsol segera peta kedalaman siap:

Sumber: Implementasi tombol antarmuka pengguna alami menggunakan Kinect

Secara total, sekitar 35 juta perangkat terjual, menjadikan Kinect kamera kedalaman massa pertama dalam sejarah. Dan jika Anda menganggap bahwa ada kamera yang dalam sebelumnya, tetapi mereka biasanya menjual paling banyak dalam ratusan dan biaya setidaknya urutan besarnya lebih mahal - ini adalah revolusi yang memberikan investasi besar di bidang ini.

Alasan penting untuk kesuksesan adalah bahwa pada saat Microsoft merilis Xbox 360, sudah ada beberapa game yang secara aktif menggunakan Kinect sebagai sensor. Lepas landas cepat:


Selain itu, Kinect bahkan berhasil memasukkan Guinness Book of Records sebagai gadget dengan penjualan tercepat dalam sejarah. Benar, Apple segera mengusir Microsoft dari tempat ini, namun demikian. Untuk sensor eksperimental baru yang bekerja di samping perangkat utama untuk menjadi perangkat elektronik yang paling cepat terjual dalam sejarah, ini hanyalah sebuah pencapaian luar biasa:


Dalam ceramah, saya ingin bertanya kepada hadirin dari mana jutaan pelanggan ini berasal. Siapa semua orang ini?

Sebagai aturan, tidak ada yang menebak, tetapi kadang-kadang, terutama jika audiens lebih tua dan lebih berpengalaman, mereka memberikan jawaban yang benar: penjualan didorong oleh orang tua Amerika, yang melihat dengan gembira bahwa anak-anak mereka dapat bermain di konsol dan tidak duduk di sofa dengan barang rampasan tebal, dan melompat di depan TV. Itu adalah terobosan !!! Jutaan ibu dan ayah bergegas memesan alat untuk anak-anak mereka.

Secara umum, ketika datang ke pengenalan gerakan, orang biasanya secara naif percaya bahwa hanya data dari kamera 2D sudah cukup. Lagipula, mereka melihat banyak demo yang indah! Realitas jauh lebih parah. Akurasi pengenalan gerakan dari aliran video 2D dari kamera dan akurasi pengenalan gerakan dari kedalaman kamera berbeda dengan urutan besarnya. Dari kamera kedalaman, atau lebih tepatnya, dari kamera RGB yang dikombinasikan dengan kamera kedalaman (yang terakhir penting), Anda dapat mengenali gerakan jauh lebih akurat dan dengan biaya yang lebih rendah (bahkan jika ruangannya gelap) dan ini telah membawa kesuksesan ke kamera kedalaman massa pertama.

Tentang Kinect on Habré pada waktu itu mereka banyak menulis, jadi sangat singkat cara kerjanya.

Proyektor inframerah memberikan seperangkat titik pseudo-acak dalam ruang, perpindahannya menentukan kedalaman dalam piksel yang diberikan:


Sumber: Struktur Planar Kedalaman Sensing: Deteksi Konfigurasi Perabot Kantor

Resolusi kamera dinyatakan sebagai 640x480, tetapi sebenarnya ada sekitar 320x240 dengan pemfilteran yang cukup kuat dan gambar pada contoh nyata terlihat seperti ini (artinya, cukup menakutkan):

Sumber: Rekonstruksi Objek yang Sebagian Tersendiri menggunakan Beberapa Sensor Kinect

"Bayangan" dari objek terlihat jelas, karena kamera dan proyektor terpisah cukup jauh. Dapat dilihat bahwa pergeseran beberapa titik proyektor diambil untuk memprediksi kedalaman. Selain itu, ada (sulit) penyaringan oleh tetangga terdekat, tetapi masih peta kedalaman cukup berisik, terutama di perbatasan. Hal ini menyebabkan suara yang cukup mencolok pada permukaan benda yang dihasilkan, yang harus dihaluskan secara tambahan dan nontrivial:

Sumber: J4K Java Library untuk Microsoft's Kinect SDK

Namun demikian, hanya $ 150 ( hari ini sudah $ 69 , meskipun lebih baik mendekati $ 200 , tentu saja) - dan Anda “melihat” dalamnya! Sebenarnya ada banyak produk serial.

Ngomong-ngomong, pada bulan Februari tahun ini, Azure Kinect baru diumumkan:

Sumber: Microsoft mengumumkan Azure Kinect, tersedia untuk pre-order sekarang

Pengirimannya ke pengembang di AS dan Cina akan dimulai pada 27 Juni, yaitu secara harfiah sekarang. Dari kemampuan, selain resolusi RGB yang lebih baik dan kualitas kamera dengan kedalaman yang lebih baik (mereka menjanjikan 1024x1024 pada 15 FPS dan 512x512 pada 30 FPS dan kualitas yang lebih tinggi terlihat jelas oleh demo , kamera ToF) mendukung kolaborasi beberapa perangkat di luar kotak yang dinyatakan, lebih sedikit paparan ke matahari, kesalahannya kurang dari 1 cm pada jarak 4 meter dan 1-2 mm pada jarak kurang dari 1 meter, yang terdengar sangat menarik, jadi kita tunggu, kita tunggu:

Sumber: Memperkenalkan Azure Kinect DK

Produk massal berikutnya, di mana kamera kedalaman diwujudkan dalam cahaya terstruktur, bukan konsol game, tapi ... (drum roll) dengan benar - iPhone X !

Teknologi Face ID-nya adalah kamera kedalaman tipikal dengan proyektor Dot inframerah dan kamera inframerah khas (ngomong-ngomong, sekarang Anda mengerti mengapa mereka berada di tepi poni, berjarak sejauh mungkin satu sama lain - ini adalah basis stereo ):


Resolusi peta kedalaman bahkan lebih rendah dari Kinect - sekitar 150x200. Jelas bahwa jika Anda mengatakan: "Resolusi kami adalah sekitar 150x200 piksel atau 0,03 megapiksel," orang-orang akan mengatakan secara singkat dan ringkas: "Sucks!" Dan jika Anda mengatakan "Proyektor dot: Lebih dari 30.000 titik tak terlihat diproyeksikan ke wajah Anda" , orang-orang mengatakan: "Wow, 30 ribu titik tak terlihat, keren!". Beberapa pirang akan bertanya apakah bintik-bintik muncul dari titik yang tidak terlihat. Dan topiknya akan sampai ke massa! Karena itu, pilihan kedua adalah berpandangan jauh dalam periklanan. Resolusi kecil karena tiga alasan: pertama, persyaratan miniatur, kedua, konsumsi energi, dan ketiga, harga.

Namun demikian, ini adalah kamera kedalaman lain dalam cahaya terstruktur, yang telah masuk ke jutaan seri salinan dan telah diulangi oleh produsen smartphone lainnya, misalnya, (kejutan-kejutan!) Huawei (yang mem-bypass Apple dalam penjualan smartphone tahun lalu). Hanya Huawei yang memiliki kamera di sebelah kanan, dan proyektor di sebelah kiri, tetapi juga, tentu saja, di sepanjang tepi "poni":

Sumber: Pembaruan Huawei Mate 20 Pro memungkinkan pengguna menambahkan wajah kedua untuk membuka kunci wajah

Pada saat yang sama, 300.000 poin dinyatakan, yaitu , 10 kali lebih banyak dari Apple , dan kamera depan lebih baik, dan font lebih besar . Apakah ada yang berlebihan tentang 300 ribu - sulit untuk mengatakan, tetapi Huawei menunjukkan pemindaian 3D objek yang sangat baik dengan kamera depan . Tes independen lebih menakutkan , tetapi ini jelas merupakan awal dari topik dan perkembangan teknologi kamera kedalaman miniatur hemat energi dan pengumuman kamera pada akhir tahun ini sudah terlihat lebih baik dalam kinerjanya.

Pada saat yang sama, dapat dimengerti mengapa teknologi identifikasi wajah digunakan di telepon. Pertama, sekarang Anda tidak bisa menipu pendeteksi dengan menunjukkan foto wajah Anda (atau video dari tablet). Kedua, wajah banyak berubah ketika pencahayaan berubah, tetapi bentuknya tidak, yang memungkinkan kita untuk mengidentifikasi orang tersebut secara lebih akurat bersama dengan data dari kamera RGB:

Sumber: Foto TI dari orang yang sama

Jelas, sensor inframerah memiliki masalah yang melekat. Pertama, proyektor kami yang relatif lemah menyinari matahari satu atau dua kali, jadi kamera ini tidak berfungsi di jalan. Bahkan di tempat teduh, jika dinding putih sebuah gedung diterangi oleh matahari, Anda dapat memiliki masalah besar dengan ID Wajah. Tingkat kebisingan di Kinect juga berguling bahkan ketika matahari tertutup awan:

Sumber: ini dan dua gambar berikutnya - bahan Basler AG

Masalah besar lainnya adalah refleksi dan refleksi. Karena cahaya inframerah juga dipantulkan, untuk memotret ketel stainless steel yang mahal, meja pernis atau naungan kaca dengan Kinect akan bermasalah:


Dan akhirnya, dua kamera yang menembak satu objek dapat saling mengganggu. Menariknya, dalam kasus cahaya terstruktur, Anda dapat membuat proyektor berkedip dan memahami di mana titik-titik kami dan di mana tidak, tetapi ini adalah kisah yang terpisah dan agak rumit:


Sekarang Anda tahu cara memecah FaceID ...

Namun, untuk perangkat seluler, lampu terstruktur sepertinya adalah kompromi paling masuk akal saat ini:

Sumber: Perusahaan Smartphone Berebut untuk Mencocokkan Kinerja dan Biaya Kamera 3D Apple

Untuk cahaya terstruktur, murahnya sensor konvensional sedemikian rupa sehingga penggunaannya dalam banyak kasus lebih dari dibenarkan. Apa yang menghidupkan sejumlah besar startup yang beroperasi sesuai dengan rumus: sensor murah + perangkat lunak kompleks = hasil yang cukup dapat diterima.

Misalnya, mantan mahasiswa pascasarjana kami Maxim Fedyukov , yang telah terlibat dalam rekonstruksi 3D sejak 2004, menciptakan Texel , yang produk utamanya adalah platform dengan 4 kamera Kinect dan perangkat lunak yang mengubah seseorang menjadi monumen potensial dalam 30 detik. Nah, atau figurine desktop. Inilah yang punya cukup uang. Atau Anda dapat mengirim foto teman murah dan ceria model 3D Anda ke teman-teman Anda (untuk beberapa alasan, kasus yang paling populer untuk beberapa alasan). Sekarang mereka mengirim platform dan perangkat lunak mereka ke luar negeri dari Inggris ke Australia:

Sumber: Membuat model 3D seseorang dalam 30 detik

Sebagai seorang balerina, saya tidak bisa berdiri dengan indah, jadi saya hanya melihat dengan cermat sirip hiu yang berenang di masa lalu:

Sumber: bahan penulis

Secara umum, jenis sensor baru melahirkan proyek seni baru. Di musim dingin, saya melihat syuting film VR yang agak aneh dengan Kinect. Di bawah ini adalah visualisasi yang menarik dari tarian tersebut, juga dibuat dengan Kinect (sepertinya 4 kamera digunakan), dan tidak seperti contoh sebelumnya, mereka tidak berkelahi dengan kebisingan, mereka lebih suka menambahkan kesenangan spesifik:

Sumber: Pertunjukan Tari yang Diambil Dengan Sensor Kinect dan Divisualisasikan Dengan Perangkat Lunak 3D

Tren apa yang bisa diamati di daerah:

• Seperti yang Anda ketahui, sensor digital dari kamera modern peka terhadap radiasi inframerah, jadi Anda harus menggunakan filter pemblokiran khusus agar noise inframerah tidak merusak gambar (bahkan arah pemotretan artistik dalam rentang inframerah muncul, termasuk ketika filter dilepas dari sensor). Ini berarti bahwa sejumlah besar uang diinvestasikan dalam miniaturisasi, peningkatan resolusi dan sensor yang lebih murah, yang dapat digunakan sebagai inframerah (dengan filter khusus ).
  
• Demikian pula, algoritma untuk memproses peta kedalaman sekarang meningkat dengan cepat, termasuk metode yang disebut pemfilteran silang, ketika data dari sensor RGB dan data berisik oleh kedalaman memungkinkan Anda untuk mendapatkan video kedalaman yang sangat baik secara bersamaan. Pada saat yang sama, menggunakan pendekatan jaringan saraf, menjadi mungkin untuk secara dramatis meningkatkan kecepatan untuk mendapatkan hasil yang baik.
  
• Semua perusahaan top bekerja di area ini, terutama produsen smartphone.
  

Sebagai hasilnya:

• Kita dapat mengharapkan peningkatan dramatis dalam resolusi dan akurasi pemotretan kamera kedalaman Structured Light dalam 5 tahun ke depan.
  
• Akan ada pengurangan (walaupun lebih lambat) dalam konsumsi energi sensor ponsel, yang akan menyederhanakan penggunaan sensor generasi baru di smartphone, tablet, dan perangkat seluler lainnya.
  

Bagaimanapun, apa yang kita lihat sekarang adalah masa teknologi. Produk massal pertama di mana debugging produksi dan penggunaan tipe data baru yang tidak biasa baru saja diluncurkan - video dengan mendalam.

Metode 2: Waktu Kamera Penerbangan

Cara selanjutnya untuk mendapatkan kedalaman lebih menarik. Ini didasarkan pada pengukuran keterlambatan cahaya bolak-balik (ToF - Time-of-Flight ). Seperti yang Anda ketahui, kecepatan prosesor modern tinggi, dan kecepatan cahaya kecil. Dalam satu siklus clock prosesor pada 3 GHz, lampu berhasil terbang hanya 10 sentimeter. Atau 10 langkah per meter. Banyak waktu, kalau ada yang terlibat dalam optimasi tingkat rendah. Karenanya, kami memasang sumber cahaya berdenyut dan kamera khusus:

Sumber: Kamera Time-of-Flight (ToF) Basler

Faktanya, kita perlu mengukur keterlambatan cahaya kembali ke setiap titik:

Sumber: Kamera Time-of-Flight (ToF) Basler

Atau, jika kita memiliki beberapa sensor dengan waktu akumulasi muatan yang berbeda, maka, mengetahui pergeseran waktu relatif terhadap sumber untuk masing-masing sensor dan kecerahan blitz tembakan, kita dapat menghitung pergeseran dan, karenanya, jarak ke objek, dan meningkatkan jumlah sensor, kami meningkatkan akurasi:


Sumber: Larry Li Time-of-Flight Camera - An Introduction

Hasilnya adalah skema kamera dengan LED atau, yang lebih jarang, penerangan inframerah laser ( VCSEL ):

Sumber: Deskripsi pekerjaan ToF yang sangat bagus di allaboutcircuits.com

Pada saat yang sama, gambar diperoleh pada resolusi yang cukup rendah (setelah semua, kita perlu menempatkan beberapa sensor di sebelahnya dengan waktu pemungutan suara yang berbeda), tetapi berpotensi dengan FPS tinggi. Dan masalahnya terutama pada batas objek (yang tipikal untuk semua kamera kedalaman). Tetapi tanpa "bayangan" tipikal cahaya terstruktur:

Sumber: Video Basler AG

Khususnya, jenis kamera (ToF) inilah yang pada suatu waktu menguji Google secara aktif dalam proyek Google Tango , yang terwakili dengan baik dalam video ini . Artinya sederhana - untuk menggabungkan data giroskop, akselerometer, kamera RGB dan kamera kedalaman, membangun adegan tiga dimensi di depan smartphone:

Sumber: Project Tango Google Sekarang Berukuran untuk Ponsel Cerdas

Proyek itu sendiri tidak berjalan (pendapat saya adalah bahwa itu agak di depan waktunya), tetapi itu menciptakan prasyarat penting untuk menciptakan gelombang minat pada AR - augmented reality - dan, dengan demikian, mengembangkan sensor yang dapat bekerja dengannya. Sekarang semua prestasinya dituangkan ke dalam ARCore Google.

Secara umum, volume pasar kamera ToF tumbuh sekitar 30% setiap 3 tahun, yang merupakan pertumbuhan yang eksponensial, dan beberapa pasar tumbuh sangat cepat:

Sumber: Potensi Kamera Waktu Penerbangan & Penetrasi Pasar

Penggerak serius pasar saat ini adalah pengembangan yang cepat (dan juga eksponensial) dari robot industri, di mana kamera ToF adalah solusi ideal. Misalnya, jika robot Anda mengemas kotak-kotak, maka dengan kamera 2D biasa, menentukan bahwa Anda mulai macet kardus adalah tugas yang sangat sepele. Dan untuk kamera ToF, itu sepele untuk "melihat" dan memprosesnya. Dan sangat cepat. Akibatnya, kami melihat booming di kamera ToF industri :


Tentu, ini juga mengarah pada penampilan produk buatan menggunakan kamera kedalaman. Misalnya, kamera keamanan dengan unit video malam dan kamera kedalaman ToF dari German PMD Technologies , yang telah mengembangkan kamera 3D selama lebih dari 20 tahun :

Sumber: Penginderaan Kedalaman Waktu Penerbangan 3D Membawa Sihir ke Kamera Rumah Pintar Mercusuar Baru

Ingat jubah tembus pandang yang disembunyikan Harry Potter?

Sumber: Jubah Gaib Harry Potter Mendapat Kisah Asal dan Mungkin Segera Ada di Kehidupan Nyata

Saya khawatir bahwa kamera Jerman akan mendeteksinya satu atau dua kali. Dan akan sulit untuk menempatkan layar dengan gambar di depan kamera seperti itu (ini bukan penjaga yang mengganggu bagi Anda):

Sumber: Fragmen film “Mission Impossible: Phantom Protocol”

Tampaknya untuk kamera CCTV baru, sihir non-kekanak-kanakan Hogwarts akan diperlukan untuk mengelabui mereka dengan kamera kedalaman ToF, yang mampu merekam video seperti itu dalam kegelapan total:

Berpura-pura menjadi dinding, layar dan cara-cara lain untuk melindungi diri Anda dari fakta bahwa kamera gabungan ToF + RGB akan mendeteksi objek asing menjadi secara teknis lebih sulit secara kardinal.

Aplikasi damai besar lainnya untuk kamera kedalaman adalah pengenalan gerakan. Dalam waktu dekat, Anda dapat mengharapkan televisi, konsol, dan penyedot debu robotik yang akan dapat memahami tidak hanya perintah suara sebagai speaker pintar, tetapi juga “bersihkan!” Yang ceroboh. dengan lambaian tangannya. Kemudian remote control (alias malas) ke TV pintar akan menjadi sama sekali tidak perlu, dan fiksi ilmiah akan hidup kembali. Akibatnya, apa yang fantastis pada 2002 menjadi eksperimental pada 2013 , dan, akhirnya, serial pada 2019 (sementara orang-orang tidak akan tahu bahwa ada kamera yang mendalam di dalamnya, apa bedanya, bagaimana cara kerja sihir ini? ):

Sumber: artikel , eksperimen , dan produk

Dan garis penuh aplikasi bahkan lebih luas, tentu saja:

Sumber: video sensor kedalaman dari Terabee (omong-omong, jenis tikus apa yang mereka jalankan di lantai untuk 2 dan 3 video? Lihat mereka? Hanya bercanda, itu debu di udara - biaya untuk ukuran kecil sensor dan jarak sumber cahaya ke sensor)

Ngomong-ngomong - di "toko tanpa kasir" Amazon Go yang terkenal ada juga banyak kamera di bawah langit-langit:

Sumber: Di dalam toko kelontong bertenaga pengawasan-no-checkout Amazon

Selain itu, seperti yang ditulis TechCrunch : "Mereka diperbesar oleh kamera pengindra kedalaman yang terpisah (menggunakan teknik waktu terbang , atau begitulah yang saya pahami dari Kumar) yang berbaur dengan latar belakang seperti yang lain, semuanya hitam pekat." Yaitu, keajaiban menentukan dari rak mana yogurt diambil disediakan, antara lain, oleh kamera hitam matte ToF yang misterius (pertanyaan yang bagus, ada di foto):


Sayangnya, informasi langsung seringkali sulit ditemukan. Tetapi ada yang tidak langsung. Misalnya, ada perusahaan Softkinetic , yang sejak 2007 telah mengembangkan kamera ToF. 8 tahun kemudian, mereka dibeli oleh Sony (yang, secara kebetulan, siap untuk menaklukkan pasar baru di bawah merek Sony Depthsensing ). Jadi salah satu karyawan Softkinetic top sekarang bekerja hanya di Amazon Go. Kebetulan sekali! Dalam beberapa tahun, ketika teknologinya diangkat dan paten utama diajukan, detail kemungkinan besar akan terungkap.

Yah, seperti biasa, orang Cina terbakar. Pico Zense , misalnya, disajikan di CES 2019 garis yang sangat mengesankan dari kamera ToF, termasuk untuk penggunaan di luar ruangan:

Mereka menjanjikan revolusi di mana-mana. Gerobak akan dimuat lebih padat karena pemuatan otomatis, ATM akan lebih aman, karena kedalaman kamera di masing-masing, navigasi robot akan menjadi lebih mudah dan lebih akurat, orang (dan, yang paling penting, anak-anak!) Akan dihitung urutan besarnya lebih baik dalam aliran, pelatih kebugaran baru akan muncul kemampuan untuk mengontrol kebenaran latihan tanpa instruktur, dan seterusnya dan seterusnya. Secara alami, kamera China murah dari generasi baru sudah siap untuk semua kemegahan ini. Ambil dan bangun!

Menariknya, serial terbaru Huawei P30 Pro memiliki sensor ToF di sebelah kamera utama, mis. Huawei yang lama menderita lebih mampu membuat Apple membuat sensor cahaya terstruktur frontal dan, tampaknya, lebih berhasil Google (Project Tango, yang ditutup ) telah mengimplementasikan kamera di sebelah kamera ToF utama:

Sumber: Ars Technica Review teknologi baru Huawei pada akhir Maret 2019

Rincian penggunaan, tentu saja, tidak diungkapkan, tetapi selain mempercepat fokus (yang penting untuk tiga kamera utama dengan lensa berbeda), sensor ini dapat digunakan untuk meningkatkan kualitas mengaburkan latar belakang foto (mensimulasikan DOF kecil).

Juga jelas bahwa sensor kedalaman generasi berikutnya di sebelah kamera utama akan digunakan dalam aplikasi AR, yang akan meningkatkan akurasi AR dari "keren, tapi sering buggy" saat ini ke level yang bekerja secara massal. Dan, jelas, mengingat keberhasilan Cina, pertanyaan besarnya adalah seberapa besar Google ingin mendukung perangkat keras Cina revolusioner di ARCore . Perang paten secara signifikan dapat memperlambat pasar teknologi. Perkembangan kisah dramatis ini akan kita saksikan secara harfiah dalam dua tahun ke depan.

Subtotal

Sekitar 25 tahun yang lalu, ketika pintu otomatis pertama kali muncul, saya pribadi menyaksikan bagaimana paman-paman yang cukup terhormat secara berkala berakselerasi di depan pintu-pintu itu. Berhasil membuka atau tidak punya waktu? Dia besar, berat, kaca! Tentang hal yang sama yang saya amati selama tur profesor yang cukup terhormat di sebuah pabrik otomatis di China baru-baru ini. Mereka sedikit tertinggal di belakang kelompok untuk melihat apa yang akan terjadi jika Anda berdiri di robot, membawa komponen secara damai dan memainkan melodi yang tenang dan menyenangkan di jalan. Saya juga bertobat, tidak bisa menahan ... Anda tahu, itu berhenti! Mungkin dengan lancar. Mungkin sebagai orang mati. Sensor kedalaman bekerja!

Sumber: Di Dalam Kampus Baru Huawei Technology

Hotel ini juga berfungsi sebagai robot pembersih, yang terlihat seperti ini:

Pada saat yang sama, mereka diintimidasi lebih kuat daripada robot di pabrik. Tidak sekuat yang tidak manusiawi dalam setiap pengertian Bosstown Dynamics , tentu saja. Tapi saya pribadi menyaksikan bagaimana mereka berdiri di jalan, robot itu mencoba mengelilingi seseorang, orang itu bergerak, menghalangi jalan ... Semacam kucing dan tikus. Secara umum, tampaknya ketika kendaraan tak berawak muncul di jalan, pertama kali mereka akan dipotong lebih sering daripada biasanya ... Oh, orang-orang ... Hmmm ... Namun, kami terganggu.

Merangkum poin-poin utama:

• Karena prinsip operasi lain, kita dapat memposisikan sumber cahaya di kamera ToF sedekat mungkin dengan sensor (bahkan di bawah lensa yang sama). Selain itu, banyak model industri memiliki LED yang terletak di sekitar sensor. Akibatnya, "bayangan" pada peta kedalaman berkurang secara radikal, atau bahkan menghilang. Yaitu pekerjaan yang disederhanakan dengan objek geometri yang kompleks, yang penting untuk robot industri.
  
• Karena penerangan berdenyut, sebagai suatu peraturan, tetap inframerah - semua kelemahan dari kamera inframerah yang dijelaskan di bagian terakhir dipertahankan: paparan sinar matahari, kesulitan ketika dua kamera bekerja berdampingan, dll. Namun, robot industri sering bekerja di dalam ruangan, dan kamera dengan pencahayaan laser sedang dikembangkan.
  
• Sayangnya, sensor ToF lebih sulit untuk "menangkap ekor" dari peningkatan keseluruhan pada sensor kamera RGB, oleh karena itu pengembangannya lebih lambat, tetapi secara mengejutkan ada banyak sekali berita tentang pengenalan kamera ToF dan tidak ada apa-apa di sana (yang hanya mengumumkan integrasi sensor dalam smartphone) Samsung, dan Google Pixel, dan Sony Xperia ...).
  
• Sony baru berjanji bahwa 2 kamera dari 8 kamera ponsel (!!!) akan menjadi kamera kedalaman ToF (!), I.e. kamera kedalaman akan berada di kedua sisi telepon:
  Sumber: Hexa-cam Ponsel Sony mendapatkan spesifikasi kamera terungkap
  
• Hasilnya, kita akan menemukan banyak hal menarik di area ini bahkan di tahun mendatang! Dan tahun depan, hingga 20% dari ponsel baru akan dengan kamera kedalaman (Structured Light + ToF). Mengingat pada tahun 2017 hanya Apple yang ada di pasar dengan isolasi yang sangat baik dengan "30 ribu poin", dan sekarang mereka tidak menempatkan kurang dari 300 ribu, topiknya jelas berjalan dengan baik:
  
  Sumber: Pertumbuhan Pasar 3D Sensing Smartphone Terbatas pada 2019; Apple menjadi Penggerak Utama Pertumbuhan pada tahun 2020
  

Apakah Anda masih meragukan revolusi yang sedang berlangsung?

Ini bagian pertama! Perbandingan umum akan menjadi yang kedua.

Di seri berikutnya, tunggu:

• Metode 3, klasik: kedalaman stereo;
  
• Metode 4, bermodel baru: kedalaman dari plenoptik;
  
• Metode 5, tumbuh cepat: lidar, termasuk Lidar Solid State;
  
• Beberapa masalah memproses video dengan mendalam;
  
• Dan akhirnya, perbandingan singkat dari semua 5 metode dan kesimpulan umum.
  

Kartago harus dipatahkan ... Seluruh video akan menjadi tiga dimensi pada akhir abad ini!

Tetap disini! (Jika saya punya cukup waktu, saya akan menjelaskan kamera baru, termasuk tes Kinect segar, pada akhir tahun.)

Bagian 2