स्वचालित मशीन लर्निंग: जब डेटा वैज्ञानिकों की जरूरत नहीं होगी

अब तीसरे वर्ष के लिए, हम RAIF (रशियन आर्टिफिशियल इंटेलिजेंस फ़ोरम) फ़ोरम धारण कर रहे हैं, जहाँ व्यवसाय और विज्ञान जगत के वक्ता अपने काम के बारे में बात करते हैं। हमने सबसे दिलचस्प रिपोर्ट साझा करने का फैसला किया। इस पोस्ट में, ITMO मशीन लर्निंग लैब के प्रमुख एंड्री फिलचेनकोव, AutoML के बारे में पूरी सच्चाई बताते हैं।

जेट इन्फोसिस्टम्स द्वारा आयोजित स्कोल्कोवो में आयोजित RAIF 2019 फोरम के ढांचे में, मैंने एक प्रस्तुति दी जिसमें मैंने ऑटोएमएल और इसके उपयोग की संभावनाओं के बारे में बात की। चूंकि मैं एक वैज्ञानिक हूं, मुझे इस तरह के आयोजनों में बहुत बार नहीं बोलना पड़ता है: आमतौर पर मैं वैज्ञानिक सम्मेलनों में भाग लेता हूं।

हम जिन प्रमुख क्षेत्रों से जुड़े हैं, उनमें से एक ऑटोएमएल है। इसके अलावा, मैं दो छोटे स्टार्टअप का सीटीओ हूं। उनमें से एक - स्टेटनली टेक्नोलॉजीज - ऑटोएमएल सेवाएं बनाती है और डेटा विश्लेषण में लगी हुई है। वास्तव में, मैं वह व्यक्ति हूं जो एल्गोरिदम का आविष्कार करता है, उन्हें लागू करता है, और उनका उपयोग करता है। मुझे लगता है कि मैं एकमात्र व्यक्ति हूं जो सभी तीन संभावित पदों से ऑटोएमएल के बारे में बात कर सकता हूं।

AutoML क्या है?

पिछले वर्ष में, इस दिशा में काफी रुचि रही है, और अब इसकी तुलना अपने समय में लोकप्रिय गहरी शिक्षा पर ध्यान देने के साथ की जा सकती है। स्वचालित मशीन लर्निंग का आगमन वास्तव में 1976 तक हो सकता है। एक छोटा एमएल समुदाय था, और 2017 में इसने लोकप्रियता हासिल करना शुरू कर दिया, एक साल बाद ही मशीन सीखने की सीमा से परे। अब वे व्यापार, उद्योग और अन्य कई क्षेत्रों में उसके बारे में बात करते हैं। सच है, रूस में, दुर्भाग्य से, एमएल समुदाय से भी सभी लोग कल्पना नहीं करते हैं कि स्वचालित मशीन सीखना क्या है। ऐसा क्यों हुआ?

जवाब सरल है - विश्वविद्यालयों और पूर्ण पाठ्यक्रमों से स्नातक करने के लिए डेटा वैज्ञानिकों की मांग बहुत तेजी से बढ़ती है। एक ही समय में, वे ज्यादातर समय (80% तक) एक मॉडल का चयन करते हैं, इसे सेट करते हैं और तब तक इंतजार करते हैं जब तक कि सब कुछ गणना न हो जाए। ऐसा इसलिए है क्योंकि कोई पूर्ण एल्गोरिथ्म नहीं है - दुर्भाग्य से, उनमें से किसी के पास एक सीमित गुंजाइश है, और डेटा विश्लेषण विशेषज्ञों को एल्गोरिदम का चयन करना होगा जो प्रत्येक विशिष्ट कार्य के लिए इष्टतम है, और फिर इसे कॉन्फ़िगर करें। यहां, बहुत पहले से ही विश्लेषक की योग्यता पर निर्भर करता है: जितना अधिक वह विषय क्षेत्र में जानता है और एल्गोरिदम को समझता है, उतना ही इष्टतम समाधान एक निश्चित समय के लिए हो सकता है। यह वह जगह है जहाँ AutoML मदद करता है। दरअसल, ऑटोएमएल आपको मशीन लर्निंग के समाधान और कार्यों के चयन को स्वचालित करने और गति प्रदान करने की अनुमति देता है।

आइए तुरंत निर्णय लेते हैं: दो संबंधित हैं, लेकिन एक दूसरे से अलग दिशाएं हैं।

पहला: डेटा तालिका में प्रस्तुत किया जाता है, लेबल होते हैं, और जब हमें उन्हें वर्गीकृत करने की आवश्यकता होती है, तो हम एक बड़ी सूची से एक वस्तु का चयन करते हैं और इसके हाइपर मापदंडों को कॉन्फ़िगर करते हैं, और उसी समय हम डेटा को संसाधित कर सकते हैं।

दूसरा परिदृश्य अधिक जटिल है। उदाहरण के लिए, छवियां, अनुक्रम, और ऐसे क्षेत्र जहां गहरी शिक्षा अब मानक है - यहां कार्य थोड़ा और दिलचस्प हो जाता है, क्योंकि आप नए आर्किटेक्चर के साथ आ सकते हैं: वे इसके माध्यम से सॉर्ट करना इतना आसान नहीं है। तो, "न्यूरल आर्किटेक्चर की खोज करें", इस तथ्य में लगे हुए हैं कि यह इष्टतम नेटवर्क का चयन करता है और हाइपर-पैरामीटर सेट करता है जो एक या किसी अन्य समस्या को हल करने की अनुमति देता है। इसी समय, ऑटोएमएल डेटा के शब्दार्थों को ध्यान में नहीं रखता है। ऐसे तरीके भी हैं जो आपको डेटा विवरणों को "बाहर निकालने" और उन्हें पूर्वानुमान के लिए उपयोग करने की अनुमति देते हैं, लेकिन यह केवल ऑटोएमएल की सार्वभौमिक प्रयोज्यता को बढ़ाने में मदद करता है। यह वास्तव में मायने नहीं रखता है कि डेटा कहाँ से आया है: चाहे आप गैसमैन हों, आइसक्रीम विक्रेता हों या कोई और - विधियाँ सार्वभौमिक हैं। उसी समय, ऑटोएमएल आपको एक तरफ सबसे प्रभावी समाधानों का निर्माण करने की अनुमति देता है, जटिल डेटा के विश्लेषण में एक विशेषज्ञ के लिए भी जटिल और न कि सबसे स्पष्ट समाधान का चयन करता है, और दूसरी ओर, ऐसे समाधानों को तेजी से खोजने और अनुकूलित करने के लिए। और एक और गैर-स्पष्ट बात - ऑटोएमएल कोड लेखन को गति देना संभव बनाता है। यहाँ, उदाहरण के लिए:



दाईं ओर, कोड को कार्स्ट में MNIST मान्यता के लिए लिखा गया है, और बाईं ओर कार्स के तहत लिखे गए स्वचालन पुस्तकालय में ऑटो-कार्स के लिए कोड है। अंतर दिखाई देता है, जबकि लेखन समय बच जाता है।

मौजूदा समाधानों की प्रचुरता (2019)

फिलहाल स्वचालित डेटा विश्लेषण के लिए विभिन्न पुस्तकालयों और प्लेटफार्मों की एक बड़ी संख्या है, मैंने उनमें से केवल कुछ का हवाला दिया है (वास्तव में, बहुत अधिक हैं)।



दोनों खुले हैं, जो सीमित कार्यक्षमता और मालिकाना विकल्पों को लागू करते हैं। सबसे प्रसिद्ध, शायद, Google AutoML है, जो आपको एक मॉडल नहीं देता है, लेकिन इसे आपके डेटा पर प्रशिक्षित करता है, जिससे आप इसे $ 20 प्रति घंटे के लिए उपयोग कर सकते हैं। साथ ही, बुनियादी कार्यक्षमता मुफ्त में दिए जाने पर बड़ी संख्या में सभ्य परिदृश्य हैं, लेकिन आपको अधिक उन्नत घटकों के लिए भुगतान करना होगा।

उज्ज्वल पूर्वानुमान

समुदाय स्वयं ही ऑटोएमएल की संभावनाओं की अत्यधिक प्रशंसा करता है। उदाहरण के लिए, जेफ डीन, एक कृत्रिम बुद्धि वैज्ञानिक और एक वरिष्ठ Google शोधकर्ता, ने मार्च 2018 में वापस कहा कि मौजूदा मशीन लर्निंग विशेषज्ञता को कंप्यूटिंग शक्ति में सौ गुना वृद्धि द्वारा प्रतिस्थापित किया जा सकता है (लगभग सब कुछ एक डेटा वैज्ञानिक करता है -आप स्वचालित हो सकते हैं)। थोड़ा अधिक संयमित, लेकिन फिर भी गार्टनर के भयावह पूर्वानुमान का कहना है कि 2020 तक, 40% डेटा वैज्ञानिकों को ऑटोएमएल से बदला जा सकता है।

टार का सा

यह मानक CRISP DM कार्यप्रणाली जैसा दिखता है:



यह एक उन्नत विकल्प है, निगरानी के साथ, लेकिन फिर भी। आज, डेटा विश्लेषण समस्याओं को हल करने के लिए केवल मॉडल के निर्माण के लिए उबाल नहीं है। हमारे पास बड़ी संख्या में कार्य हैं जिन्हें हल करने की आवश्यकता है, और लोगों द्वारा ठीक हल करना आवश्यक है।
फिलहाल, ज्यादातर मामलों में, ऑटोएमएल केवल 2.5 स्तंभों पर खड़ा है: एक मॉडल चुनना, इसे स्थापित करना और कभी-कभी, जब यह निकलता है, तो संश्लेषण सुविधाओं और बस डेटा का चयन करना।

ऑटोएमएल से परे

दुर्भाग्य से, बड़ी संख्या में संचालन ओवरबोर्ड पर छोड़ दिए जाते हैं, जो ऑटोएमएल नहीं करता है और उचित भविष्य में नहीं कर पाएगा। स्वाभाविक रूप से, यह डेटा विश्लेषण की दुनिया में वास्तविक दुनिया से कार्यों के परिवर्तन का तात्पर्य करता है: "आपकी समस्या को कैसे प्रोजेक्ट किया जाए ताकि इसे डेटा विश्लेषण के माध्यम से हल किया जा सके?" ये सभी प्रकार के मॉडल ट्रैकिंग, गुणवत्ता मूल्यांकन, विभिन्न अप्रिय क्षणों की खोज - सभी हैं ताकि समाधान निकला नहीं हो, उदाहरण के लिए, किसी का भी असहिष्णु, क्योंकि यह पहले ही हो चुका है। स्वाभाविक रूप से, कोई भी ऑटोएमएल समाधान का समर्थन नहीं कर सकता है और ग्राहकों के साथ संवाद कर सकता है। साथ ही, मौजूदा समय में व्याख्या प्रश्न से बाहर है।

इस प्रकार, यह एक बहुत ही सुविधाजनक उपकरण है, लेकिन दुर्भाग्य से, हमारे लिए यह सभी समस्याओं से दूर नहीं है।

हम क्या कर रहे हैं?

यह आदर्श सर्किट जैसा दिखता है (जैसा कि मैं इसे देखता हूं):



एक मशीन लर्निंग प्रयोगशाला है जो एल्गोरिदम विकसित करती है, साथ ही स्टेटनली टेक्नोलॉजीज भी है - एक उत्पाद टीम जो हमारे एल्गोरिदम के आधार पर ऑटोएमएल सेवाओं को लागू करती है। वे उन कंपनियों के लिए काम करते हैं जिनके पास एक बड़ा डेटा साइंस विभाग है। इन उत्पादों का उपयोग स्टेटनली टेक्नोलॉजीज के डेटा विश्लेषकों की एक टीम द्वारा किया जाता है और विशेष रूप से उन कंपनियों की समस्याओं को हल करता है, जिन्होंने अभी तक अपना डेटा विश्लेषण विभाग नहीं बनाया या बनाया है। मॉडल बहुत अच्छा लग रहा है, लेकिन वास्तविकता, निश्चित रूप से थोड़ा अधिक है।

हमने 2017 में इस तथ्य के साथ शुरुआत की कि यहां कोई डेटा विश्लेषण नहीं था:



हम एक ऐसा उत्पाद जारी करना चाहते थे जो डेटा विश्लेषक उपयोग करेंगे, लेकिन 2017 में, दुर्भाग्य से, हम निवेशकों के साथ संपर्क नहीं पा सके - उन्हें समझ नहीं आया कि ऑटोएमएल क्या था, इसकी आवश्यकता क्यों थी और इसका उपयोग कौन करेगा।

फिलहाल, हम कुछ भी नहीं बेच रहे हैं, एक कंपनी के रूप में जो ऑटोएमएल समाधान विकसित करती है, हम केवल अपने जीवन को आसान बनाते हैं, एक टीम के रूप में जो डेटा विश्लेषण में लगी हुई है:



हम इसे कैसे करते हैं, इसके बारे में थोड़ा सा। स्वाभाविक रूप से, हम हाइपर पैरामीटर (कोई ग्रिड-खोज) स्थापित नहीं करते हैं, लेकिन उन्हें स्थापित करने के अलावा, हम लगभग हमेशा कुछ बुनियादी ऑटोएमएल-आधारित समाधान बनाने की कोशिश करते हैं, और कभी-कभी डेटा प्रीप्रोसेसिंग के चरणों में खुद की मदद करते हैं।

मेरे पास कुछ प्रेरणादायक और विविध उदाहरण हैं - लगभग सब कुछ ऑटोएमएल और मैंने किया, सरल से जटिल तक।

एक सरल उदाहरण गज़प्रोमनेफ्ट में कार्य है: एक कुआ है, आपको विफलता के संभावित समय की भविष्यवाणी करने की आवश्यकता है। हमारे पास हमारे निपटान क्लासिक सारणीबद्ध डेटा और विशेषताएं हैं। नतीजतन, हमने ऑटोएमएल का उपयोग करके एक पूर्वानुमान मॉडल का निर्माण किया, जबकि एक भी विश्लेषक घायल नहीं हुआ, लेकिन इस प्रक्रिया में भाग भी नहीं लिया। वास्तव में, यह सबसे अच्छा समाधान निकला:



दूसरी कहानी: सिनारा टेक्नोलॉजीज। यहां कार्य थोड़ा अधिक जटिल था, क्योंकि वास्तव में ठीक दो कॉलम थे: समय / पैरामीटर + यह कैसे बदल गया। इंजन की विफलता की भविष्यवाणी करना आवश्यक था। यहां हमने डेटा प्रोसेसिंग के साथ हमें थोड़ी मदद करने के लिए AutoML का उपयोग किया - हमने एक आधार रेखा का निर्माण किया, जिसे हमने खुद बाद में पार किया:



तीसरा उदाहरण: एक कार्य जिसे पहली नज़र में ऑटोएमएल से कोई लेना-देना नहीं है। टीवीसी चैनल के लिए एक वेबसाइट है - लेखों का एक डेटाबेस जिसमें खोज करना है, और खोज शब्दार्थ से समृद्ध है। हम न केवल शब्दों के सटीक भाव ढूंढना चाहेंगे, बल्कि अर्थ में उपयुक्त भी होंगे। प्लस विभिन्न आवश्यकताओं की एक बड़ी सूची पर भी विचार करने की आवश्यकता है।

हम इस मुद्दे पर कैसे पहुंचे?

हमने समान शब्दों के लचीले समूहों के आधार पर सभी दस्तावेजों को अनुक्रमित करने का निर्णय लिया, क्योंकि अनुक्रमण अधिक सुविधाजनक है। इसके अलावा, डेटाबेस में 100 हजार से अधिक दस्तावेज हैं, और यदि ऐसा नहीं किया जाता है, तो खोज असीम रूप से लंबी होगी। इसके बाद, हमने एक वेक्टर प्रतिनिधित्व का निर्माण किया (मुझे आशा है कि हर किसी ने इसके बारे में सुना है) और अपने आप को अनुक्रमित करने की अनुमति देने के लिए वेक्टर अभ्यावेदन पर क्लस्टरिंग।
दूसरी समस्या: हम डेटा को कैसे क्लस्टर करते हैं? हमने ऑटोएमएल को क्लस्टरिंग की गुणवत्ता का आकलन करने के लिए उपायों का चयन करने के लिए लागू किया, साथ ही क्लस्टरिंग के लिए एल्गोरिदम और हाइपर मापदंडों का चयन करने के लिए:



इसके अलावा, सबसे अधिक बार हम AutoML का उपयोग नहीं करते हैं। यहाँ दो बहुत ही चौकाने वाले उदाहरण हैं।

हमारे दूसरे स्टार्टअप में, स्पेशल वीडियो एनालिटिक्स, उत्पाद कारों के संकेतों को पहचानने के लिए एक प्रणाली है जो एक बंद क्षेत्र में उनकी केंद्रीकृत पहुंच सुनिश्चित करता है। यहां मुख्य समस्या डेटा की छोटी मात्रा है। इस मामले में, मॉडल मापदंडों को समायोजित करना काफी मुश्किल है। और हम बहुत सीमित हैं, क्योंकि अक्सर ऑटोएमएल का उपयोग सोच-समझकर किया जाता है और मॉडल को उसी डेटा पर ट्यून करने की कोशिश की जाती है, जिस पर उनका परीक्षण किया जाता है। ऐसा नहीं किया जा सकता है: मशीन सीखने के क्लासिक्स के अनुसार, एक सत्यापन सेट को एकल करने की आवश्यकता है: खोज जितनी बड़ी होगी, उतनी अधिक मशीनें होनी चाहिए। इसलिए, जब हमारे पास बहुत कम डेटा होता है, तो हम इस डेटा को खोजने के लिए और अधिक जटिल मॉडल के निर्माण की तुलना में चिन्हित करने के बारे में अधिक चिंतित होते हैं।

एक अन्य उदाहरण हुआवेई के साथ हमारा संयुक्त विकास है। हमने उनके लिए छवियों पर पाठ पहचानने के लिए एक परियोजना की। ऐसा लगता है कि आप यहां ऑटोएमएल का उपयोग कर सकते हैं, क्योंकि पहले से ही तीन मैट्रिक्स हैं जिन्हें अनुकूलित किया जा सकता है: मान्यता गुणवत्ता, मान्यता समय और मॉडल पैरामीटर (चूंकि यह सब मोबाइल उपकरणों में लागू होना चाहिए था)। लेकिन अब किसी के पास पर्याप्त विशेषज्ञता नहीं है कि वह तीनों पहलुओं को बेहतर ढंग से लागू कर सके।

नतीजतन, पर्याप्त कंप्यूटिंग शक्ति नहीं थी: हम समय में सीमित थे और पर्याप्त संख्या में सर्वर नहीं थे। अगर हमने इसे घर पर शुरू किया (और LICE में होना चाहिए), हमारे पास बस समय नहीं होता। चूंकि इसे संसाधित करने में पांच घंटे लगते हैं, इसलिए यह हमें केवल हमारी दक्षताओं की लागत देता है।

निष्कर्ष

सामान्य तौर पर, ऑटोएमएल एक बहुत ही उपयोगी चीज है, लेकिन आवेदन में संकीर्ण है। स्वाभाविक रूप से, वह टीके के समाधान के साथ नहीं आ पाएंगे। ऑटोएमएल वर्तमान में केवल डेटा विश्लेषकों के लिए उपयोगी है। हो सकता है कि किसी दिन वह उनकी जगह ले ले, लेकिन जाहिर तौर पर अगले पांच सालों में नहीं।

एंड्री फिलचेनकोव, मशीन लर्निंग प्रयोगशाला के प्रमुख, आईटीएमओ द्वारा पोस्ट किया गया