Foto: Lisa Alert .Jika seseorang menghilang di hutan, cara terbaik untuk menemukannya adalah mengirim mesin pencari terlatih untuk menyisir. Belum ada teknologi pencarian yang bisa menggantikan orang. Di awal musim panas, kami
menulis tentang beberapa tim yang, sebagai bagian dari kontes Odyssey, mengembangkan solusi untuk satwa liar. Banyak insinyur mengandalkan drone dengan kamera dan visi komputer, tetapi menghadapi masalah yang tidak jelas - komunikasi yang buruk, pemrosesan dan transmisi data yang sangat besar, mahkota pohon yang lebat, dan banyak lagi.
Akibatnya, tidak ada solusi tunggal dengan visi komputer yang mencapai final kompetisi. Tetapi para pakar teknis mengatakan - jika tim bergabung, menyusun dataset dan melatih algoritma-nya, visi komputer dapat memiliki peluang.
Pekan lalu, pada 9 Agustus, regu pencarian Lisa Alert bersama-sama dengan Beeline mengumumkan peluncuran alat yang akan mencari orang-orang dalam foto dari drone. Kami pergi ke konferensi pers yang didedikasikan untuk peluncuran dan mencari tahu cara kerjanya.
Puluhan ribu foto
Presentasi berlangsung sehari setelah pengumuman skandal oleh Kementerian Keadaan Darurat tentang badai, yang menggantung di udara saluran televisi utama selama sepuluh menit. Badai tidak terjadi, tetapi cuaca masih mengerikan. Untuk detasemen Liza Alert, ini terkadang ada di tangan - jumlah aplikasi untuk orang yang hilang di hutan turun tajam, karena dalam cuaca buruk mereka tidak pergi ke sana. Ini membebaskan kekuatan untuk pencarian yang lebih kompleks. Di sisi lain, selama cuaca dingin, orang yang hilang berada dalam bahaya yang lebih besar.
Misalnya, pada bulan Juli Lisa Alert menerima 1.083 aplikasi untuk hutan. Sekitar 700 di antaranya ada di pinggiran kota. Banyak orang hilang masih memiliki telepon, dan mereka berada di area jangkauan jaringan. Dari hutan mereka dipimpin oleh kelompok “Forest in touch”, yang menjelaskan bagaimana cara keluar dari matahari atau bangunan alami. Kadang-kadang mereka mengirim grup yang mengatur sirene atau mengeluarkan seseorang.
Tetapi pencarian yang paling sulit adalah pencarian di mana tidak ada koneksi dengan yang hilang. Misalnya, pada saat konferensi pers selama beberapa hari ada pencarian seorang wanita berusia 73 tahun di daerah Shchelkovo. Grup mesin pencari berjalan total 2.300 kilometer dan mengambil 8.400 foto dari pesawat tanpa awak di atas hutan.
“Sekarang teknologi kami bekerja seperti ini,” kata Grigory Sergeyev, “Kami mengambil foto, mengunggahnya ke layanan, yang ditulis oleh relawan kami, dan kelompok khusus melihat foto. Sejumlah besar orang di luar regu juga dapat membantu dalam hal ini. Dalam bingkai ini, kami mencari sesuatu yang berbeda dari hutan. Kelompok hiking segera keluar untuk melihat apa itu. Sekarang dalam pencarian di Shchelkovo kami memiliki lebih dari seratus tanda yang perlu diperiksa. Untuk menyiasati mereka semua, Anda harus berjalan lebih dari tiga ratus kilometer. ”
Ketika kami berbicara dengan para peserta dalam kontes Odyssey, mereka ragu mengambil gambar hutan dari udara. Tapi tahun ini, "Lisa Alert" menemukan setidaknya satu orang seminggu dengan bantuan copters. Menurut Gregory, dua tahun lalu mereka menemukan cara ini hanya dua orang sepanjang musim. Tahun lalu - enam.
Drone terbang di atas wilayah di mana sangat sulit bagi seseorang untuk pergi - penahan angin, rawa. Alexander Lomonosov, kepala kendaraan udara tak berawak Lisa Alert, menunjukkan rekaman dari pelacak kelompok pencarian. Menyisir dengan unit meninggalkan banyak bintik putih. Drone sepenuhnya menutupi wilayah ini.
“Jika kelompok menjadi badai, mereka akan menghabiskan setidaknya tiga jam. Drone bekerja di area ini dalam 15 menit. Di sanalah seorang pria ditemukan - dari udara. Dia bisa masuk ke penahan angin, dan tidak ada kekuatan lagi untuk keluar dari sana. Beberapa orang terlatih mengevakuasinya selama lebih dari empat jam. Dan selama ini hanya 370 meter yang dilewati. Drone, lapangan terbuka, dan rawa, drone akan bekerja beberapa kali lebih cepat daripada grup berjalan biasa. Jika bidang ditumbuhi rumput setinggi 15 cm, sekelompok mesin pencari yang terlatih akan menyisirnya selama 6-8 jam, dan dengung selama satu jam. Dia akan membawa foto-foto seluruh area, dan zona mati akan sepenuhnya dikecualikan. "
Rata-rata, satu pencarian membawa 250 foto. Selama enam bulan, mereka mengumpulkan 33 ribu. Tapi sekarang ada beberapa helikopter dan pilot di skuad. Jika jumlahnya bertambah, dan drone digunakan di semua 20 wilayah tempat Lisa Alert beroperasi, 33 ribu gambar akan dikumpulkan dalam satu hari. Dan detasemen menghabiskan 240 jam hanya melihat foto dari pencarian di Shchelkovo.
Kumpulan mesin pencari dan tenaga telekomunikasi
Dua bulan lalu, Lisa Alert dan Beeline mulai menguji algoritme Beeline AI - People Search, yang menganalisis foto dari drone.
Proyek ini dimulai dengan ide belajar bagaimana secara otomatis menyaring foto-foto kosong sehingga hanya foto-foto yang mencurigai keberadaan seseorang yang akan dikirim ke kelompok yang menonton.
“Pada suatu waktu saya mencoba untuk menemukan kumpulan data khusus, tetapi mereka tidak ada di dunia, meskipun beberapa mencoba untuk mengumpulkannya,” kata Alexander Lomonosov, “oleh karena itu, kami sendiri memberikan foto-foto pengembang di mana orang-orang: pejalan kaki biasa yang masuk ke dalam bingkai, pemetik jamur , mesin pencari itu sendiri sedang bekerja. Semua ini meletakkan dasar untuk dataset di mana visi mesin bekerja. "
Untuk merakit dataset semacam itu juga merupakan tugas dengan banyak seluk-beluk halus. Orang dapat masuk ke bingkai dalam posisi apa pun: duduk, berbaring, berdiri. Mereka dapat ditutup dengan ranting-ranting sehingga hanya sebagian kecil yang terlihat. Latar belakang sekitar sangat berbeda tergantung pada lanskap, wilayah dan musim.
“Di banyak daerah, kami secara khusus meminta orang pergi ke pose khas untuk para korban dan memotret mereka. Kemudian gambar-gambar itu diperbanyak secara artifisial. Misalnya, mereka mengambil seseorang yang difoto di Rostov dan meletakkannya di media dari daerah lain, ”kata Grigory Sergeev.
Dalam foto-foto yang diterima, para ilmuwan data Beeline mulai mempelajari algoritma.
“Kami, sebagai operator, terbiasa bekerja dengan sejumlah besar data. Kami memiliki lima pusat data besar. Hanya pusat data Yaroslavl, yang kami gunakan untuk bekerja dengan Lisa Alert, memproses 15 petabyte data. Berkat ini, kami belajar bagaimana membangun model yang sangat modern, ”kata George Held, wakil presiden pengembangan bisnis digital di Beeline.
“Foto masuk ke sistem kami, dan kami perlu menentukan apakah ada orang di dalamnya atau tidak. Lihat topi, sepatu bot, tangan, telinga, apa pun. Oleh karena itu, kami memotong setiap gambar menjadi 30-35 lapisan. Pekerjaan raksasa dilakukan untuk menemukan arsitektur yang cocok untuk ini dan untuk membuat algoritma, karena kesalahan apa pun akan mengarah pada kenyataan bahwa kita akan kehilangan orang di foto. Sumber daya komputasi besar diperlukan untuk memproses setiap lapisan dengan cepat. Kami menggunakan model yang sama yang kami gunakan untuk penargetan. Kami mengambil komponen mereka dan menggunakan kembali pada proyek ini. "
Model ini mampu mencari tidak hanya untuk keseluruhan orang, tetapi memperhatikan semua artefak kecil dan mencurigakan di hutan dalam gambar. Sekarang tibalah tahap pertama pengujian, ketika algoritma membuang semua foto di mana ada probabilitas persentase 98% bahwa tidak ada orang.
Gambar yang tersisa segera pergi ke relawan yang mencari orang di sana, dan jika perlu mereka dikirim ke mesin pencari atau drone untuk pemotretan tambahan. Saat sistem sedang diuji, orang-orang yang telah membuang gambar juga diperiksa - tetapi di tempat kedua.
Langkah selanjutnya, para pengembang berencana untuk mengajarkan algoritma untuk lebih akurat menentukan gambar orang dan membangun model prediksi pergerakan mereka di hutan.
Kenapa 5G di sini
Sekarang sistem memiliki dua opsi. Yang pertama adalah program offline untuk memproses gambar pada laptop dalam kondisi di mana tidak ada koneksi. Kekuatannya terbatas, ditambah lagi harus diperbarui setiap kali Anda terhubung ke jaringan, karena algoritmanya terus belajar. Layanan online berfungsi secara maksimal - di dalamnya foto diunggah ke server Beeline. Sudah 15 juta gambar telah melewati pusat data.
Lisa Alert menggunakan drone DJI dalam pencarian, karena dia menggunakan program mereka untuk penerbangan otonom. Satu tembakan dari model Mavic 2 Pro beratnya sekitar 20 MB, dan setelah setiap penerbangan Anda harus mengunggah dan mentransfer rata-rata 20 GB foto ke layanan. Ini banyak bahkan untuk tempat-tempat dengan jangkauan jaringan yang baik.
George Held percaya bahwa pekerjaan algoritma pencarian adalah argumen yang mendukung
pembangunan jaringan 5G .
“Sangat penting bahwa informasi ditransmisikan melalui jaringan besar berkualitas tinggi, jadi kami sekarang menginvestasikan banyak uang untuk meningkatkan BTS, jaringan 5G sedang dibangun. Banyak operator mengatakan ini dengan bangga. Tapi pertanyaan terbesarnya adalah - untuk apa ini? Untuk hanya menonton video di YouTube? Ini juga akan bekerja dengan baik pada 4G. 5G membutuhkan alasan nyata. Bekerja dengan Lisa Alert adalah contoh yang sangat bagus, karena sejumlah besar informasi harus ditransmisikan dengan cepat. "
Tidak diperlukan pencitraan termal
Di awal musim panas, dalam kompetisi teknologi pencarian, hanya satu tim yang mengandalkan visi komputer yang lolos ke final. Tapi dia menggunakan imager termal untuk syuting. Grigory Sergeev menyebut ini dengan skeptis.
“Selama 9 tahun kami belum menemukan satu orang pun dengan bantuan imager termal. Semua orang ingin percaya bahwa ini adalah hal yang keren. Ya, kita dapat menggunakannya untuk tidak berhenti mencari, misalnya, pada malam hari di ruang terbuka. Tetapi untuk yang lainnya, itu tidak cocok. Rumput tidak transparan, semua mahkota buram. Seseorang berada di hutan dengan pakaian, dan pakaian memiliki suhu sekitar. Imager termal adalah fantasi keren, tetapi tidak efektif untuk pencarian. Kami mencoba semua perangkat pertahanan kami, mencoba model asing. "Mereka cocok untuk duplikasi, tetapi mengingat biaya dan efektifitasnya, saya akan mengatakan tidak pada pencitra termal."
Ketika ditanya mengapa tidak ada seorang pun di kompetisi itu yang dapat menggunakan visi komputer secara efektif, Georgy hanya menjawab: "mereka tidak memiliki kekuatan pengembangan yang kita miliki sekarang."