IoT और हैकथॉन एज़्योर मशीन लर्निंग: हमने प्रोजेक्ट को प्रतियोगिता से बाहर कैसे किया

इतना समय पहले नहीं, एक और माइक्रोसॉफ्ट हैकथॉन हुआ । इस बार, वह मशीन लर्निंग के लिए समर्पित थे । विषय बहुत ही प्रासंगिक और आशाजनक है, हालाँकि, मेरे लिए अस्पष्ट है। हैकाथॉन की शुरुआत में, मुझे केवल एक सामान्य विचार था कि यह क्या था, इसकी आवश्यकता क्यों थी, और मैंने प्रशिक्षित मॉडल के परिणामों को एक-दो बार देखा। यह जानने के बाद कि घोषणा ने शुरुआती लोगों की मदद करने के लिए बहुत सारे विशेषज्ञों का वादा किया, मैंने व्यापार को खुशी के साथ संयोजित करने का फैसला किया और किसी तरह के IoT समाधान के साथ काम करते समय मशीन सीखने का उपयोग करने का प्रयास किया । आगे, मैं आपको बताऊंगा कि इसका क्या हुआ।


लंबे समय से मैं बाड़ कंपन के विश्लेषण के आधार पर परिधि सुरक्षा प्रणालियों पर काम कर रहा हूं , इसलिए तुरंत एक एक्सेलेरोमीटर के साथ काम करने का विचार आया। यह विचार सरल था: एक्सीलेरोमीटर के डेटा के आधार पर कई फोन के कंपन के बीच अंतर करने के लिए प्रणाली को पढ़ाने के लिए। इसी तरह के प्रयोग मेरे सहयोगियों द्वारा पहले ही सफलतापूर्वक किए जा चुके हैं, इसलिए मुझे कोई संदेह नहीं था कि यह संभव था।

शुरू में, मैं रास्पबेरी पाई 2 और विंडोज आईओटी पर सब कुछ करना चाहता था । डिजिटल और एनालॉग एक्सेलेरोमीटर के साथ एक विशेष बोर्ड तैयार किया गया था (नीचे की तस्वीर में), लेकिन मेरे पास अभ्यास में इसे आज़माने का समय नहीं था, जिसने एक हैकाथॉन पर सब कुछ करने का फैसला किया। बस के मामले में, मैंने भी हमारे सेंसर पर कब्जा कर लिया , जो आपको उतार-चढ़ाव पर "कच्चे" डेटा सीखने की अनुमति देता है।



हैकाथॉन में, सभी प्रतिभागियों को टीमों में विभाजित करने और पूर्व-तैयार डेटा का उपयोग करके 3 समस्याओं में से एक को हल करने के लिए कहा गया था। मेरा कार्य "प्रतिस्पर्धा से बाहर" निकला, लेकिन टीम ने जल्दी से पर्याप्त इकट्ठा किया:



हम में से किसी को भी एज़्योर मशीन सीखने का उपयोग करने का अनुभव नहीं था, इसलिए बहुत कुछ करना था! सहयोगियों के लिए, जिनके बीच psfinaki था , उनके प्रयासों के लिए धन्यवाद !

यह 3 दिशाओं में विभाजित करने का निर्णय लिया गया:

• विश्लेषण के लिए डेटा की तैयारी
• क्लाउड पर डेटा अपलोड करें
• Azure मशीन लर्निंग के साथ काम करते हैं

डेटा की तैयारी इसे एक्सेलेरोमीटर से प्राप्त करना था, और फिर इसे क्लाउड पर डाउनलोड के लिए उपलब्ध फॉर्म में प्रस्तुत करना था। इवेंट हब के माध्यम से क्लाउड पर अपलोड करने की योजना बनाई गई थी । खैर, तब आपको यह समझना था कि इस डेटा का उपयोग Azure Machine Learning में कैसे किया जाता है।

तीनों बिंदुओं पर समस्याएं शुरू हुईं।



रास्पबेरी पर विंडोज IoT को कॉन्फ़िगर करने के लिए एक लंबा समय लगा। उसने मॉनिटर पर एक तस्वीर नहीं दी। Config.txt में निम्न पंक्तियों को दर्ज करके ही इसे हल करना संभव था:

hdmi_ignore_edid=0xa5000080
hdmi_drive=2
hdmi_group=2
hdmi_mode=16

इसने वीडियो चालक को वांछित प्रारूप, रिज़ॉल्यूशन और फ़्रीक्वेंसी पर ट्यून किया।



हालाँकि, इस पाठ पर खर्च किए गए समय ने यह स्पष्ट कर दिया है कि आपके पास एक्सेलेरोमीटर से डेटा की प्राप्ति को व्यवस्थित करने का समय नहीं है। इसलिए, सेंसर का उपयोग करने का निर्णय लिया गया था जो मैंने रिजर्व में लिया था।

सेंसर के लिए पहले ही कई एप्लिकेशन लिखे जा चुके हैं। उनमें से एक स्क्रीन पर "कच्चे" डेटा का एक ग्राफ प्रदर्शित किया गया है:



क्लाउड पर भेजने के लिए डेटा तैयार करने के लिए इसे थोड़ा सा पूरा करना आवश्यक था।

इवेंट हब भी ठीक से काम नहीं किया। शुरू करने के लिए, हमने वहाँ एक यादृच्छिक क्रम भेजने की कोशिश की। लेकिन रिपोर्ट में डेटा दिखाई नहीं देना चाहता था। कई समस्याएं थीं, और, जैसा कि यह निकला, वे सभी "बचकाने" थे: कहीं वे इसे गलत सेट करते हैं, कहीं वे गलत कुंजी का उपयोग करते हैं, और इसी तरह। इस दिशा में काम करना बहुत कठिन था और बहुत ऊर्जा



मिली : लेकिन, पहले दिन की शाम तक, हम उड़ने पर सेंसर से डेटा भेजने और प्राप्त करने में सक्षम थे ... सच है, यह अंतिम समाधान में आवश्यक नहीं था। मैं थोड़ी देर बाद कारणों के बारे में बात करूंगा।

मशीन लर्निंग के साथ, कुछ भी स्पष्ट नहीं था। सबसे पहले हमने एक साथ सुंदर का अध्ययन कियाक्लाइंट के रूप में मोबाइल एप्लिकेशन का उपयोग करने के उदाहरण के साथ लेख । फिर हमने डेटा प्रारूप और उनके साथ काम करने के तरीके का पता लगाया। तब उन्होंने सोचा कि प्रशिक्षण क्रम कैसे बनाया जाए।

Azure Mashine Learning में विभिन्न वर्गीकरण के लिए कई एल्गोरिदम हैं। इन एल्गोरिदम को एक परीक्षण डेटा सेट पर प्रशिक्षित किया जाना चाहिए। फिर, जो सबसे अच्छा परिणाम देते हैं, उन्हें वेब सेवा के रूप में प्रकाशित किया जा सकता है और उन्हें एप्लिकेशन से जोड़ा जा सकता है।

एक एल्गोरिथ्म सीखना "प्रयोग" कहा जाता है। सभी क्रियाएं एक दृश्य संपादक में की जाती हैं:



बाईं ओर की सूची से आइटमों को खींचने और छोड़ने से आप डेटा प्राप्त कर सकते हैं, उन्हें संशोधित कर सकते हैं और बदल सकते हैं, मॉडल को प्रशिक्षित कर सकते हैं और उनके काम का मूल्यांकन कर सकते हैं।

यह एक विशिष्ट प्रयोग है जो दिखता है:



ट्रेन मॉडल, स्कोर मॉडल और मूल्यांकन मॉडल सबसे महत्वपूर्ण निकला।
इनपुट डेटा का उपयोग करने वाला पहला, एल्गोरिथ्म को प्रशिक्षित करता है, दूसरा डेटा सेट पर प्रशिक्षित एल्गोरिदम का परीक्षण करता है, तीसरा परीक्षा परिणाम का मूल्यांकन करता है।

हमारे मामले में स्रोत डेटा एक सीएसवी फ़ाइल है। लेकिन इसमें क्या निहित होना चाहिए?

हमारे सेंसर का संवेदनशील तत्व प्रति सेकंड 1024 बार प्रदूषित होता है। प्रत्येक सर्वेक्षण वर्तमान दोलन के आयाम के अनुरूप एक दो-बाइट मान है। इसके अलावा, आयाम शून्य से नहीं, बल्कि एक निश्चित सेंसर से संबंधित संदर्भ संख्या से मापा जाता है।

प्रतिबिंब पर, हमने अस्थायी स्लाइस का उपयोग करने का निर्णय लिया। उदाहरण के लिए, 256 ms के सभी सेंसर पोल ने हमें csv तालिका में एक पंक्ति दी। यह डेटा, एक अतिरिक्त कॉलम में, एक या दूसरे तरीके से चिह्नित किया जा सकता है, जो सेंसर के साथ हो रहा है पर निर्भर करता है। उदाहरण के लिए, हमने शोर को इंगित करने के लिए 0 का उपयोग किया (अपने हाथों से सेंसर को हिलाते हुए, दोहन, आदि) और संकेत को इंगित करने के लिए 1 (सेंसर पर एक हिल टेलीफोन है)।

इस प्रकार हमने परीक्षण क्रमों को दर्ज किया:



डेटा प्राप्त किया, और महसूस किया कि उनके साथ क्या किया जाना चाहिए, हमने पहला मॉडल सीखना शुरू किया:



पहला पैनकेक लम्बा हो गया:



उस समय, इन संकेतकों का अर्थ भी स्पष्ट नहीं था। हम ROC घटता के बारे में बात करते हुए समर्थन टीम के एक प्रतिनिधि येवगेनी ग्रिगोरेंको द्वारा बचाए गए थे। मुख्य बात यह थी कि अगर ग्राफ किसी स्थान पर मिडलाइन के नीचे है, तो मॉडल इससे भी बदतर काम करता है अगर यह एक यादृच्छिक परिणाम देता है! यूजीन हमारी जितनी मदद कर सकता था, करता रहा, जिसके लिए उसे बहुत-बहुत धन्यवाद!



फिर हमने लंबे समय तक प्रशिक्षण अनुक्रम को फिर से लिखा और परिणामों को देखा:



यह पता चला कि 2-सेकंड रिकॉर्डिंग (2048 सेंसर पोल) के साथ काम करना कम इष्टतम था। इससे हमें टेबल सीएसवी पंक्तियों को और अधिक सार्थक बनाने की अनुमति मिली। लेकिन परिणाम अभी तक अच्छे से दूर था।

यह पहले दिन समाप्त हो गया।

मैंने सामग्री का अध्ययन करने में रात बिताई। लेख ने वास्तव में मदद कीद्विआधारी वर्गीकरण के बारे में। मैंने इस हैकाथॉन के सुझावों के साथ लेख को भी ध्यान से पढ़ा । सामान्य तौर पर, काम की शुरुआत तक मैं नए विचारों से भरा था।

हमने दूसरे दिन का पूरा पहला भाग विभिन्न मॉडलों का अध्ययन करने में बिताया। कार्य का परिणाम एक "पत्रक" था:



इस क्षण तक यह पहले से ही स्पष्ट था कि हमारे पास दो कंपन रिंगों के बीच अंतर करने का समय नहीं था, क्योंकि प्रशिक्षण डेटा की गुणवत्ता वांछित होने के लिए बहुत कुछ छोड़ दिया था, और नए रिकॉर्ड करने के लिए पर्याप्त समय नहीं था। इसलिए, हमने डेटा को "सिग्नल" और "शोर" में अलग करने पर ध्यान केंद्रित किया।

काम के लिए, हमने 3 डेटा सेट का उपयोग किया:

1. एक प्रशिक्षण सेट जिसमें एक संकेत था (सीएसवी फ़ाइल 1 चिह्नित की लाइनें) और शोर (0 चिह्नित लाइनें)
2. एक सेट जिसमें केवल शोर होता है (0 से लाइनें)
3. एक सेट जिसमें केवल संकेत होता है (1 से लाइनें)

मॉडल को पहले प्रशिक्षित किया गया, फिर प्रत्येक डेटा सेट पर परीक्षण और मूल्यांकन किया गया। परिणाम उत्साहजनक थे:



नतीजतन, बाइनरी वर्गीकरण के नौ मॉडलों में से हमने पांच का चयन किया।

जैसा कि यह पता चला है, वेब सेवा के रूप में मॉडल का उपयोग करना इवेंट हब को खराब करने की तुलना में बहुत आसान है। इसलिए, हमने सभी 5 मॉडलों को प्रकाशित करने और REQUEST / RESPONSE के माध्यम से उनके साथ काम करने का निर्णय लिया, जो एक बहुत अच्छे उदाहरण के साथ है।



अनुरोध संवेदक से लिया गया 2048 मानों का इनपुट सरणी है। जवाब इस तरह दिखता है:



स्कैन किए गए लेबल या तो 0 या 1. हैं, जो कि वर्गीकरण का परिणाम है। स्कोर की संभावनाएं - एक दशमलव संख्या जो मूल्यांकन की शुद्धता को दर्शाती है। जैसा कि मैं इसे समझता हूं, पहला मूल्य दूसरे को गोल कर रहा है। यही है, 0 के करीब दूसरा मान, स्कोर 0 अधिक संभावना है, और इसके विपरीत। मूल्य 1 के करीब है, स्कोर 1 अधिक होने की संभावना है।

स्क्रीन पर "कच्चे डेटा" ग्राफ को प्रदर्शित करने वाले कार्यक्रम को अंतिम रूप देने के बाद, हम सभी धाराओं से सभी पांच वेब सेवाओं से डेटा प्राप्त करने में सक्षम थे। इसके अलावा, अनुमानों को थोड़ा देखने के बाद, हमने एक को बाहर कर दिया, क्योंकि इसने एक परिणाम दिया जो दूसरों से पूरी तरह से अलग था और पूरी तस्वीर को खराब कर दिया।

परिणाम निम्नलिखित है:







फिर प्रशिक्षण अनुक्रम की सभी समस्याएं तुरंत बाहर हो गईं। यद्यपि हमने कंपन की चेतावनी को हर चीज (शोर और आराम) से अलग करने की कोशिश की, बाकी राज्य कॉल के बहुत करीब पहुंच गए, यह हमेशा निर्धारित नहीं था। कॉल और बाकी के बीच का अंतर, हमने प्रत्येक मॉडल के लिए संभावनाओं की औसत संख्या द्वारा निर्धारित किया है। 1 के करीब एक मान का अर्थ है एक कॉल, 1 के स्कोर के साथ लगभग 0.5 का मान शांति है। खैर, अगर स्कोर 0 है - यह निश्चित रूप से शोर है।

इस समय, हैकाथॉन समाप्त हो गया। हमारे पास विशेषज्ञों को परिणाम दिखाने के लिए भी समय नहीं है, क्योंकि वे प्रविष्टियों का मूल्यांकन करने में व्यस्त थे।

लेकिन यह सब अब विशेष महत्व का नहीं था। सबसे महत्वपूर्ण बात, हमने एक पूरी तरह से परिणाम प्राप्त किया है और एक ही समय में बहुत कुछ सीखा है!

दो दिनों की कड़ी मेहनत में, हमने पूरा किया, हालांकि आंशिक रूप से, कार्य। टीम के सहयोगियों और विशेषज्ञों की बदौलत जिन्होंने हमारी मदद की!

अब हम अपनी परियोजना के विकास मार्गों पर ध्यान दे सकते हैं। हमने घटनाओं को अलग करने के लिए समय विशेषताओं का उपयोग किया। हालांकि, अगर हम आवृत्ति डोमेन पर जाते हैं, तो एल्गोरिदम की दक्षता अधिक होनी चाहिए। शोर, शांति और घंटी में अलग-अलग वर्णक्रमीय विशेषताएं हैं।

इसके अलावा, अनुभवी लोगों ने सुझाव दिया कि डेटा को सामान्य किया जाना चाहिए। यही है, इनपुट अनुक्रम की संख्या -1 से +1 तक सीमा में होनी चाहिए। इस तरह के डेटा के साथ एल्गोरिदम अधिक कुशलता से काम करते हैं।

अच्छी तरह से और फिर भी, शोर से संकेत को अधिक स्पष्ट रूप से अलग करने के लिए प्रशिक्षण अनुक्रमों के गठन पर काम करना आवश्यक है।

इन सुधारों से राज्य निर्धारण की सटीकता में काफी वृद्धि होनी चाहिए, जिसे मैं भविष्य में जांचना चाहता हूं।

Source: https://habr.com/ru/post/hi387857/