17 मई 2018 को प्रकाशित

छत्ता स्थापित करने के तुरंत बाद, मैंने सोचा: "मुझे आश्चर्य है कि मधुमक्खियों के आने और जाने की संख्या की गणना कैसे की जाए?"

एक छोटे से अध्ययन से पता चला है: अभी तक कोई भी इस समस्या को हल करने के लिए एक अच्छी गैर-आक्रामक प्रणाली के साथ नहीं आया है। लेकिन हाइव के स्वास्थ्य की जांच के लिए ऐसी जानकारी रखना शायद उपयोगी होगा।

सबसे पहले, आपको डेटा नमूने एकत्र करने की आवश्यकता है। रास्पबेरी पाई, मानक पाई कैमरा और सौर पैनल: यह सरल उपकरण प्रत्येक 10 सेकंड में एक फ्रेम रिकॉर्ड करने और प्रति दिन 5000+ चित्र (सुबह 6 बजे से 9 बजे तक) बचाने के लिए पर्याप्त है।



नीचे एक उदाहरण छवि है ... आप कितने मधुमक्खियों को गिन सकते हैं?

वास्तव में सवाल क्या है?

दूसरी बात, इस समस्या को तैयार करना आवश्यक है कि तंत्रिका नेटवर्क को वास्तव में क्या करना चाहिए। यदि कार्य "छवि में मधुमक्खियों की गिनती" है, तो आप विशिष्ट संख्या प्राप्त करने की कोशिश कर सकते हैं, लेकिन यह सबसे आसान विकल्प नहीं लगता है, और फ्रेम के बीच व्यक्तिगत मधुमक्खियों को ट्रैक करना कोई खुशी नहीं देता है। इसके बजाय, मैंने छवि में प्रत्येक मधुमक्खी को स्थानीय बनाने पर ध्यान केंद्रित करने का निर्णय लिया।

एक मानक फ्रेम-बाय-फ्रेम डिटेक्टर की एक त्वरित जांच ने कोई विशेष परिणाम नहीं दिया। यह आश्चर्य की बात नहीं है, विशेष रूप से हाइव के प्रवेश द्वार के आसपास मधुमक्खियों के घनत्व पर विचार करना (संकेत: प्रशिक्षण स्थानांतरित करना हमेशा काम नहीं करता है), लेकिन यह सामान्य है। इसलिए, मेरे पास बहुत छोटी छवि है, वस्तुओं को पहचानने के लिए केवल एक वर्ग है और इस तरह के बाउंडिंग बॉक्स के साथ कोई विशेष समस्याएं नहीं हैं। बस तय करें कि मधुमक्खी है या नहीं। कौन सा समाधान सरल होगा?

v1: एक टुकड़े पर पूरी तरह से दृढ़ नेटवर्क "मधुमक्खी खा / नहीं"

पहला त्वरित प्रयोग "मधुमक्खी तस्वीर में है / नहीं है" डिटेक्टर था। यही है, क्या संभावना है कि छवि के इस टुकड़े पर कम से कम एक मधुमक्खी है। चित्र के बहुत छोटे टुकड़ों पर एक पूरी तरह से दृढ़ नेटवर्क के रूप में ऐसा करने का मतलब है कि आप आसानी से पूर्ण संकल्प में डेटा को संसाधित कर सकते हैं। दृष्टिकोण काम करने लगा, लेकिन मधुमक्खियों के बहुत उच्च घनत्व के साथ छत्ता प्रवेश क्षेत्र के लिए विफल रहा।

v2: RGB इमेज → ब्लैक एंड व्हाइट बिटमैप

मुझे जल्दी से एहसास हुआ कि छवि परिवर्तन की समस्या को कम किया जा सकता है। इनपुट पर, कैमरा सिग्नल आरजीबी है, और आउटपुट में एक एकल चैनल की एक छवि है जहां "सफेद" पिक्सेल मधुमक्खी के केंद्र को इंगित करता है।


आरजीबी इनपुट (टुकड़ा) और एकल-चैनल आउटपुट (टुकड़ा)

अंकन

तीसरा चरण अंकन है, अर्थात्, पदनामों का असाइनमेंट। छवि में मधुमक्खियों का चयन / चयन रद्द करने और SQLite डेटाबेस में परिणाम सहेजने के लिए एक छोटे TkInter एप्लिकेशन को तैनात करना बहुत मुश्किल नहीं है। मैंने इस टूल को सही ढंग से कॉन्फ़िगर करने के लिए काफी समय बिताया है: जो कोई भी महत्वपूर्ण रूप से मार्किंग करता है वह मुझे समझेगा: /

बाद में, हम सौभाग्य से देखेंगे कि बड़ी संख्या में नमूनों के साथ आप अर्ध-स्वचालित तरीकों से एक बहुत अच्छा परिणाम प्राप्त कर सकते हैं।

आदर्श

नेटवर्क आर्किटेक्चर सुंदर मानक यू-नेट है।

• आधा संकल्प के साथ टुकड़ों पर पूरी तरह से सजा हुआ नेटवर्क , लेकिन पूर्ण संकल्प के साथ छवियों पर काम करता है;
• कोडिंग 2 के वेतन वृद्धि में 4 × 3 3 का एक अनुक्रम है
• डीकोडिंग - निकटतम पड़ोसियों में आकार परिवर्तन का एक क्रम + 1 + की वृद्धि में 3 × 3 को मोड़ना और एन्कर्स से कनेक्शन को छोड़ देना;
• अंतिम संकल्प परत 1 × 1 सिग्मॉइड फ़ंक्शन की सक्रियता के साथ चरण 1 के साथ (जो कि, प्रत्येक पिक्सेल के लिए "मधुमक्खी है / नहीं है" बाइनरी पसंद)।

कुछ अनुभवजन्य प्रयोगों के बाद, मैंने आधे संकल्प के साथ डिकोडिंग पर लौटने का फैसला किया। बहुत हो गया।

मैंने आदत से अधिक बाहर निकालने के बजाय निकटतम पड़ोसियों का आकार बदलकर डिकोडिंग किया।

नेटवर्क एडम विधि द्वारा प्रशिक्षित किया गया था और बैच सामान्यीकरण लागू करने के लिए बहुत छोटा था। डिजाइन आश्चर्यजनक रूप से सरल निकला, फिल्टर की एक छोटी संख्या पर्याप्त थी।



मैंने मानक डेटा वृद्धि पद्धति, यादृच्छिक रोटेशन और रंग विरूपण लागू किया। टुकड़ों पर प्रशिक्षण का मतलब है कि हम अनिवार्य रूप से छवि को बेतरतीब ढंग से टुकड़ा करने का एक संस्करण प्राप्त करते हैं। मैंने छवि को घुमाया नहीं क्योंकि कैमरा हमेशा छत्ते के एक तरफ खड़ा होता है।

आउटपुट भविष्यवाणियों को पोस्टप्रोसेस करने में कुछ बारीकियां हैं। संभावित परिणामों के साथ, हमें एक धुंधले बादल मिलते हैं जहां मधुमक्खियां हो सकती हैं। मधुमक्खी प्रति एक पिक्सेल की एक स्पष्ट तस्वीर में बदलने के लिए, मैंने एक थ्रेशोल्ड वैल्यू जोड़ा, संबंधित घटकों को ध्यान में रखते हुए और स्किमेज मापक मॉड्यूल का उपयोग करके सेंट्रोइड्स का पता लगाना । यह सब मैन्युअल रूप से स्थापित किया जाना था और आंख से पूरी तरह से कॉन्फ़िगर किया गया था, हालांकि सैद्धांतिक रूप से इसे सीखने के एक तत्व के रूप में स्टैक के अंत में जोड़ा जा सकता है। शायद यह भविष्य में यह करने के लिए समझ में आता है ... :)


इनपुट, रॉ आउटपुट और क्लस्टर सेंट्रोइड्स

कुछ दिनों का सामान्यीकरण

एक दिन में

प्रारंभ में, एक दिन की छोटी अवधि में छवियों के साथ प्रयोग किए गए थे। कम संख्या में चिह्नित चित्रों (लगभग 30) के साथ इस डेटा से एक अच्छा मॉडल प्राप्त करना आसान हो गया।


पहले दिन तीन नमूने मिले

बहुत दिनों से

जब मैं कई दिनों की अवधि पर विचार करने लगा तो चीजें और अधिक जटिल हो गईं। प्रमुख अंतरों में से एक प्रकाश व्यवस्था (दिन का समय और अलग मौसम) में अंतर है। एक और कारण यह है कि मैंने हर दिन मैन्युअल रूप से कैमरा स्थापित किया, बस इसे वेल्क्रो के साथ चिपका दिया। तीसरा और सबसे अप्रत्याशित अंतर यह था कि घास की वृद्धि के साथ, सिंहपर्णी कलियां मधुमक्खियों की तरह दिखती हैं (अर्थात, पहले दौर में, प्रशिक्षित मॉडल ने कलियों को नहीं देखा, और फिर वे दिखाई दिए और झूठी सकारात्मकता की एक सतत धारा प्रदान की)।

अधिकांश समस्याओं को डेटा संवर्द्धन द्वारा हल किया गया था, और एक भी समस्या गंभीर नहीं हुई। सामान्य तौर पर, डेटा बहुत अधिक भिन्न नहीं होता है। यह बहुत अच्छा है, क्योंकि यह आपको एक सरल तंत्रिका नेटवर्क और प्रशिक्षण योजना तक सीमित करने की अनुमति देता है।


तीन दिनों में प्राप्त नमूने

पूर्वानुमान उदाहरण

छवि पूर्वानुमान का एक उदाहरण दिखाती है। यह ध्यान रखना दिलचस्प है कि किसी भी छवि की तुलना में बहुत अधिक मधुमक्खियां हैं जिन्हें मैंने मैन्युअल रूप से लेबल किया था। यह एक महान पुष्टि है कि छोटे टुकड़ों पर सीखने के साथ एक पूरी तरह से दृढ़ दृष्टिकोण वास्तव में काम करता है।



नेटवर्क विकल्पों की एक विस्तृत श्रृंखला में ठीक काम करता है। मुझे लगता है कि एक समान पृष्ठभूमि यहां मदद करती है, और कुछ मनमाने छत्ते पर नेटवर्क शुरू करने से ऐसा अच्छा परिणाम नहीं मिलेगा।


बाएं से दाएं: प्रवेश द्वार के आसपास उच्च घनत्व; विभिन्न आकारों के मधुमक्खियों; उच्च गति पर मधुमक्खियों!

लेबलिंग ट्रिक्स

अर्ध-नियंत्रित प्रशिक्षण

बड़ी संख्या में छवियां प्राप्त करने की संभावना तुरंत अर्ध-नियंत्रित प्रशिक्षण का उपयोग करने का विचार बताती है।

एक बहुत ही सरल दृष्टिकोण:

1. 10,000 छवियों की शूटिंग।
2. 100 चित्र और प्रशिक्षण model_1 लेबल model_1 ।
3. शेष 9900 छवियों को चिह्नित करने के लिए model_1 का उपयोग करना।
4. प्रशिक्षण model_2 "लेबल" पर 10,000 चित्र।

नतीजतन, model_2 तुलना में बेहतर परिणाम model_1 ।

यहाँ एक उदाहरण है। ध्यान दें कि model_1 कुछ झूठी सकारात्मक (घास के मध्य बाएं और ब्लेड) और झूठी नकारात्मक प्रतिक्रियाओं (हाइव के प्रवेश द्वार के आसपास मधुमक्खियों) को दर्शाता है।


लेफ्ट मॉडल_1, राइट मॉडल ।2

खराब मॉडल को ठीक करके चिह्नित करना

इस तरह के डेटा भी एक बढ़िया उदाहरण है कि कैसे खराब मॉडल को ठीक करना खरोंच से चिह्नित करने से तेज है ...

1. हम 10 छवियों को चिह्नित करते हैं और मॉडल को प्रशिक्षित करते हैं।
2. हम अगले 100 चित्रों को चिह्नित करने के लिए मॉडल का उपयोग करते हैं।
3. हम इन 100 छवियों पर निशान को सही करने के लिए अंकन उपकरण का उपयोग करते हैं।
4. मॉडल को 110 चित्रों में फिर से शिक्षित करें।
5. हम दोहराते हैं ...

यह एक बहुत ही सामान्य सीखने का पैटर्न है, और कभी-कभी यह आपको अपने लेबलिंग टूल को थोड़ा संशोधित करने के लिए मजबूर करता है।

गिनती

मधुमक्खियों का पता लगाने की संभावना का मतलब है कि हम उन्हें गिन सकते हैं! और मनोरंजन के लिए, मज़ेदार ग्राफिक्स बनाएं जो दिन के दौरान मधुमक्खियों की संख्या दिखाते हैं। मुझे पूरे दिन काम करने का तरीका पसंद है और शाम 4 बजे के आसपास घर आता है। :)

रास्पबेरी पाई आउटपुट

पाई पर मॉडल लॉन्च करना इस परियोजना का एक महत्वपूर्ण हिस्सा था।

सीधे लोहे की पाई पर

इसे मूल रूप से TensorFlow ग्राफ को फ्रीज करने और इसे सीधे Pi पर चलाने की योजना बनाई गई थी। यह समस्याओं के बिना काम करता है, लेकिन केवल Pi प्रति सेकंड केवल 1 छवि लेता है। : /

Movidius कम्प्यूटिंग मॉड्यूल पर चल रहा है

मुझे मूव्ड न्यूरल कंप्यूट स्टिक का उपयोग करके पाई पर एक मॉडल लॉन्च करने के अवसर में बहुत दिलचस्पी थी। यह एक अद्भुत गैजेट है।

दुर्भाग्य से, कुछ भी नहीं हुआ: /। TensorFlow ग्राफ को उनके आंतरिक मॉडल प्रारूप में बदलने के लिए एपीआई मेरे डिकोडिंग विधि का समर्थन नहीं करता है। इसलिए, निकटतम पड़ोसियों पर आकार बदलने के बजाय डीकोनवोल्यूशन का उपयोग करके आकार (आकार बदलना) को बढ़ाना आवश्यक था। इस तथ्य के अलावा कोई समस्या नहीं है कि कुछ भी नहीं हुआ। बहुत सारी छोटी-छोटी कठिनाइयाँ हैं, जिनके कारण बग कई गुना बढ़ जाते हैं । जब वे ठीक हो जाते हैं, तो आप इस विषय पर लौट सकते हैं ...

मॉडल v3: RGB छवि → मधुमक्खी गिनती
इसने मुझे मॉडल के तीसरे संस्करण की ओर अग्रसर किया: क्या हम आरजीबी इनपुट से सीधे मधुमक्खी की गिनती तक जा सकते हैं? इस तरह हम Movidus न्यूरल कम्प्यूट स्टिक पर असमर्थित संचालन के साथ किसी भी समस्या से बचेंगे, हालांकि यह संभावना नहीं है कि परिणाम सेंट्रोइड मॉडल v2 में उतना ही अच्छा होगा।

पहले तो मैं इस तरीके को आजमाने से डरता था: मैंने सोचा कि इसके लिए बहुत अधिक लेबलिंग की आवश्यकता होगी (यह अब एक टुकड़ा आधारित प्रणाली नहीं है)। लेकिन! एक ऐसा मॉडल होना जो मधुमक्खियों को खोजने का एक बहुत अच्छा काम करता है और बहुत सारे अनचाहे डेटा है, आप v2 मॉडल को लागू करके सिंथेटिक डेटा का एक अच्छा सेट उत्पन्न कर सकते हैं और बस कई की संख्या की गणना कर सकते हैं।

ऐसा मॉडल सीखने में काफी आसान है और सार्थक परिणाम देता है ... (हालांकि यह अभी भी उतना अच्छा नहीं है जितना कि v2 मॉडल द्वारा पता लगाया गया सेंट्रोइड्स का एक सरल गणना)।

कुछ परीक्षण नमूनों में मधुमक्खियों की वास्तविक और अनुमानित संख्या
असली	40	19	16	15	13	12	11	10	8	7	6	4
v2 (केन्द्रक) भविष्य कहनेवाला	39	19	16	13	13	14	11	8	8	7	6	4
v3 (सरल गणना) पूर्वानुमान	33.1	15.3	12.3	12.5	13.3	10.4	9.3	8.7	6.3	7.1	5.9	4.2

... दुर्भाग्य से, मॉडल अभी भी न्यूरल कम्प्यूट स्टिक पर काम नहीं करता है (यानी यह काम करता है, लेकिन केवल यादृच्छिक परिणाम देता है)। मैंने कुछ और बग रिपोर्ट की और बाद में वापस लौटने के लिए गैजेट को बंद कर दिया ... किसी दिन ...

आगे क्या है?

हमेशा की तरह, छोटी-छोटी चीजों का एक समूह बना रहा ...

• तंत्रिका कम्प्यूट स्टिक (NCS) पर लॉन्च; अब हम उनकी ओर से कुछ काम की प्रतीक्षा कर रहे हैं ...
• निर्मित JeVois कैमरे के लिए सब कुछ पोर्ट। मैंने उसके साथ थोड़ा सा व्यवहार किया, लेकिन सबसे पहले मैं एनसीएस पर एक मॉडल लॉन्च करना चाहता था। मैं 120 एफपीएस पर मधुमक्खियों को ट्रैक करना चाहता हूं !!!
• ऑप्टिकल प्रवाह की कल्पना करने के लिए कई फ्रेम / कैमरों के बीच मधुमक्खियों को ट्रैक करें।
• अर्ध-नियंत्रित दृष्टिकोण के लाभों को अधिक विस्तार से देखें और एक छोटे मॉडल के लिए डेटा लेबल करने के लिए एक बड़े मॉडल को प्रशिक्षित करें।
• एनसीएस सुविधाओं का अन्वेषण करें; हाइपरपरमेटर्स की स्थापना के साथ क्या करना है?
• फार्मबोट के छोटे संस्करण को विकसित करने के लिए जाओ, जिसमें सीएनसी रोपाई (यानी कुछ पूरी तरह से अलग) के साथ कुछ आनुवांशिक प्रयोग किए जा सकें।

कोड

सभी कोड जीथब पर प्रकाशित किया गया है ।