Setiap pengendara motor tahu bahwa pengemudi cenderung lelah. Kebetulan mata Anda tetap bersatu bahkan ketika Anda sedang mengemudi pulang kerja, dan pengemudi truk memiliki salah satu masalah profesional utama:
ribuan kecelakaan terjadi setiap tahun karena orang-orang tertidur di belakang kemudi. Masalahnya adalah pengemudi truk harus terus-menerus menciptakan keseimbangan antara istirahat dan mengemudi yang aman di satu sisi, dan kelelahan dengan penghasilan lebih tinggi di sisi lain. Godaan hebat untuk tidur lebih sedikit, tetapi lebih cepat mengirimkan barang dan mendapatkan pesanan baru. Belum lagi fakta bahwa pengemudi memiliki kehidupan pribadi mereka sendiri dan mereka tidak selalu tidur di pesawat.
Untuk membuat jalan lebih aman, kami meluncurkan proyek kami untuk memantau kondisi pengemudi: sesuai dengan persyaratan pelanggan, kami menciptakan solusi perangkat lunak dan perangkat keras yang dapat melacak kesehatan pengemudi di jalan dan mencegah tahap tertidur sehingga mereka tidak "bangun" di dunia berikutnya.
Mata yang waspada
Gagasan utamanya adalah menggunakan kamera untuk melacak kelelahan dan reaksi berbahaya pengemudi. Perangkat pertama mengumpulkan statistik tentang bagaimana pengemudi tertentu berperilaku saat mengemudi. Dan jika, berdasarkan statistik ini, sistem memutuskan bahwa pengemudi menunjukkan tanda-tanda kelelahan atau akan melihat mimpi, dia akan memberi sinyal kepadanya. Jika pengemudi sering mulai mengangguk atau bereaksi terhadap kejadian seperti lalat yang mengantuk, sistem juga memberi tahu pengirim tentang hal ini.
Menggunakan analitik video, kami memantau seberapa fokus pengemudi dan apakah dia melihat jalan. Kamera secara konstan menangkap wajah dan tangan, dan sistem melacak sejumlah titik kunci. Kami berharap mata pengemudi selalu terbuka, matanya diarahkan ke kaca depan atau kaca spion samping. Jika mata tertutup, atau kepala condong ke depan dan dagu jatuh ke dada, atau wajah berpaling dari kaca depan untuk waktu yang lama, maka sistem memberi sinyal.
Tentu saja, pelacakan dan pensinyalan ini tidak berfungsi sepanjang waktu, tetapi hanya ketika mobil bergerak, sensor GPS digunakan untuk ini. Kami juga menyediakan kemungkinan untuk mematikan dan menghidupkan sistem secara paksa, karena situasinya berbeda. Tetapi pada saat yang sama, kami membandingkan durasi mesin dan waktu ketika sistem dimatikan. Jika perlu, perangkat dapat memberi tahu operator bahwa pengemudi telah bepergian dengan "kontrol" mati untuk waktu yang lama.
Implementasi
Proyek ini terdiri dari dua bagian: perangkat keras dan perangkat lunak.
Bagaimana sistem menentukan bahwa pengemudi tertidur sekarang? Menggunakan perpustakaan OpenCV, yang didasarkan pada pembelajaran mesin. OpenCV memungkinkan Anda untuk menentukan poin utama dalam aliran video: dagu, tangan, mata (termasuk ukuran dan luasnya). Dan berdasarkan parameter ini, sistem menentukan apakah pengemudi lelah atau tidak.
Perangkat keras terdiri dari Waveshare RPi Camera (F) dan Raspberry Pi, dirakit dalam satu rumahan. Menciptakan perangkat keras lebih sulit daripada yang terlihat pada pandangan pertama: Anda tidak perlu menghubungkan dan menyolder komponen, tetapi pikirkan kombinasi mereka sehingga perangkat bekerja dengan andal untuk waktu yang lama dan tanpa kegagalan. Sebenarnya, ini adalah tugas integrasi yang terpisah. Dan risiko integrasi biasanya yang tertinggi. Bagaimanapun, itu adalah satu hal ketika paket perangkat lunak berjalan pada laptop Anda, di bawah OS Anda dan dengan keterbatasan Anda, dan hal lain ketika itu ditransfer ke Raspberry Pi, di bawah OS lain, di mana prosesor jauh lebih lemah dan lebih sedikit memori.
Tentu saja, jika produk dimasukkan secara seri, maka tidak akan lagi diterapkan pada Raspberry Pi. Potongan besi lemah, kekuatannya tidak cukup untuk memproses streaming video dalam resolusi penuh dan untuk mengenali wajah, jadi dengan isian perangkat keras seperti itu Anda harus pergi ke trik.
Selain itu, kami menerapkan mode malam, sehingga sistem dapat membangunkan pengemudi dalam gelap, ketika orang sering tertidur. Artinya, saya harus mengajar komputer bagaimana menangani video dari kamera inframerah. Di sini kami bukan perintis, masalah serupa juga diselesaikan di sistem rumah pintar. Untuk menentukan kelelahan pengemudi, Anda tidak perlu tahu detail tentang penampilannya: warna rambut, mata, warna kulit. Kita hanya perlu menentukan dengan jelas posisi tangan dan titik kunci pada wajah. Anehnya, ternyata lebih mudah untuk bekerja dengan mata dalam mode inframerah daripada normal. Jika Anda pernah melihat klip yang diambil dengan kamera otomatis dengan hewan di alam liar, Anda tahu bahwa dengan sudut yang bagus, mata mereka bersinar seperti mata laser.
Efek ini ternyata sangat berguna bagi kita: lebih mudah untuk menentukan fakta mata tertutup. Tentu saja, penyesuaian tambahan semua algoritma diperlukan, karena spektrum gambar benar-benar berbeda, tetapi, secara umum, mata lebih dikenali dengan percaya diri.
Tetapi dalam mode inframerah, sistem mengenali situasi yang lebih buruk ketika pengemudi berbicara di telepon, menekan telinganya ke bahunya. Ini juga situasi yang berbahaya, peraturan lalu lintas secara eksplisit dilarang untuk berbicara di telepon saat mengemudi.
Tentu saja, seperti model pembelajaran mesin, model kami juga tidak bekerja dengan akurasi absolut. Tetapi Anda perlu memahami dengan baik apa yang sebenarnya bergantung pada kesalahan pengakuan. Misalnya, kami belum menguji sistem kami pada driver dengan penampilan non-Eropa. Mungkin dalam kasus ini, proporsi pengenalan mata dan kelelahan yang akurat akan berkurang. Namun, selama pengujian internal, sistem bekerja tepat pada 8-9 dari 10 kasus.
* * *
Saat ini, ada banyak algoritma yang baik di domain publik, dan kami mengambil yang sudah jadi, yang memungkinkan kami tidak hanya menyelesaikan masalah, tetapi juga menghemat banyak waktu. Sekarang Anda dapat dengan cepat menemukan model yang cocok untuk menyelesaikan tugas yang unik, dan dengan cepat memperbaikinya. Tentu saja, ini membutuhkan keterampilan dan pengalaman dalam memecahkan masalah penglihatan komputer dan adaptasi cepat. Maka hanya perlu satu atau dua hari untuk mendapatkan prototipe pada laptop. Dan pekerjaan lebih lanjut tergantung pada tugas, kapasitas yang tersedia, penyimpanan dan faktor lainnya. Misalnya, Anda dapat dengan cepat memperbaiki sistem kami sehingga memainkan peran yang berbeda: katakanlah, sebagai perangkat keamanan, yang memastikan bahwa hanya orang-orang tertentu yang memasuki ruangan pada waktu tertentu dalam sehari. Artinya, Anda dapat dengan cepat membuat solusi untuk berbagai tugas yang terkait dengan visi komputer.