🦏 🍞 👩🏾‍💻 मशीन लर्निंग को पूरी तरह से सपोर्ट करने के लिए आपको जावा में क्या करने की आवश्यकता है 😝 ⏬ 👩🏼‍🤝‍👩🏻

नमस्कार साथियों!

एमएल / डीएल के क्षेत्र में हमारे आगामी नवाचारों की ताजा खबरों से:

निशांत शाकला , " मशीन लर्निंग विथ टेन्सरफ्लो " - लेआउट में एक पुस्तक, जनवरी में दुकानों में अपेक्षित

डेलिप राव, ब्रायन मैकमैहन, " नेचुरल लैंग्वेज प्रोसेसिंग इन पियरटेक " - अनुबंध पर हस्ताक्षर किए गए हैं, हम जनवरी में अनुवाद शुरू करने की योजना बना रहे हैं।

इस संदर्भ में, हम एक बार फिर एक दर्दनाक विषय पर लौटना चाहते हैं - जावा में एमएल / डीएल विषय का एक खराब अध्ययन। इन जावा समाधानों और एल्गोरिदम की स्पष्ट अपरिपक्वता के कारण, हमने एक बार गिब्सन और पैटरसन की DL4J पुस्तक को छोड़ने का फैसला किया, और आज प्रकाशित हम्फ्रे शील के लेख से पता चलता है कि हम शायद सही थे। हम आपको लेखक के विचारों से परिचित होने के लिए आमंत्रित करते हैं कि कैसे जावा आखिरकार मशीन सीखने में पायथन के साथ प्रतिस्पर्धा कर सकता है

हाल ही में, मैंने मशीन के वर्तमान और भविष्य और उद्यम में गहरी शिक्षा (एमएल / डीएल) पर व्याख्यान दिया। एक बड़े उद्यम के संदर्भ में, एक शोध सम्मेलन में की तुलना में अधिक लागू विषय और मुद्दे प्रासंगिक हैं - उदाहरण के लिए, मैं और मेरी टीम एमएल का उपयोग कैसे शुरू कर सकते हैं, और हमारे द्वारा संचालन में सिस्टम के साथ एमएल को एकीकृत करने के लिए सबसे अच्छा कैसे। फिर जावा और मशीन लर्निंग पर एक पैनल चर्चा शुरू हुई।

मशीन सीखने के क्षेत्र में जावा भाषा व्यावहारिक रूप से अनुपस्थित है। लगभग कोई भी ML फ्रेमवर्क नहीं है जो जावा में लिखा होगा ( DL4J है , लेकिन व्यक्तिगत रूप से, मैं किसी को भी इसका उपयोग करने वाला नहीं जानता, MXNet के पास Scala में API है, लेकिन जावा में नहीं है, और यह ढांचा स्वयं जावा में नहीं लिखा गया है । Tensorflow का जावा में अधूरा एपीआई है , हालाँकि, पिछले 20 वर्षों में जावा का उद्यम विकास में बहुत बड़ा हिस्सा है, लगभग सभी बोधगम्य विषय क्षेत्रों में इस भाषा में अरबों डॉलर का निवेश किया गया है: वित्तीय सेवाएँ, इलेक्ट्रॉनिक लेनदेन, ऑनलाइन स्टोर, दूरसंचार - सूची हमेशा के लिए जा सकते हैं। मशीन लर्निंग में, "बराबर के बीच पहला" पायथन है, जावा नहीं। व्यक्तिगत रूप से, मैं वास्तव में पायथन और जावा दोनों में कार्यक्रम करना पसंद करता हूं, लेकिन फ्रैंक ग्रीको ने एक दिलचस्प सवाल तैयार किया जिसने मुझे सोचने के लिए प्रेरित किया:

जावा को ML में पायथन के साथ प्रतिस्पर्धा क्यों करनी चाहिए? गंभीर एमएल समर्थन को ध्यान में लाने का काम क्यों नहीं?

क्या यह महत्वपूर्ण है?

आइए इस विषय को सही ठहराते हैं। 1998 से, जावा भाषा प्रीमियर लीग में है, इसके बिना उद्यम में कोई विकासवादी और क्रांतिकारी घटनाएं नहीं थीं। हम वेब प्रौद्योगिकियों और मोबाइल वालों के बारे में बात कर रहे हैं, ब्राउज़र और देशी समाधानों की तुलना करने के बारे में, मैसेजिंग सिस्टम के बारे में, i18n और l10n वैश्वीकरण समर्थन, किसी भी उद्यम जानकारी के लिए क्षैतिज स्केलिंग और भंडारण समर्थन, जिसकी आप कल्पना कर सकते हैं - संबंधपरक डेटाबेस से Elasticsearch।

बिना शर्त समर्थन का यह स्तर एक बहुत ही स्वस्थ संस्कृति प्रदान करता है जो जावा-कमांड में विकसित हुई है: "हम कर सकते हैं", "अपनी आस्तीन ऊपर रोल करें और कोड लिखें।" ऐसा कोई जादुई घटक या एपीआई नहीं है जिसे जावा डेवलपर्स की एक अच्छी टीम द्वारा पूरक या प्रतिस्थापित नहीं किया जा सकता है।

लेकिन यह सिद्धांत मशीन लर्निंग में काम नहीं करता है। यहाँ, जावा कमांड के दो विकल्प हैं:

पाइथन में मुकर्रर / मुकरना।
अपने मौजूदा उद्यम प्रणाली में मशीन सीखने की क्षमताओं को जोड़ने के लिए एक तृतीय-पक्ष एपीआई का उपयोग करें।

इनमें से कोई भी विकल्प वास्तव में हानिरहित नहीं कहा जा सकता है। पहले के लिए बहुत समय और निवेश की आवश्यकता होती है, साथ ही साथ चल रही समर्थन लागत। दूसरे विकल्प में, हम आपूर्तिकर्ता पर निर्भर होने का जोखिम उठाते हैं, आपूर्तिकर्ता समर्थन खो देते हैं, साथ ही तीसरे पक्ष के घटकों (एक ही समय में नेटवर्क संक्रमण के लिए कीमत का भुगतान) के साथ काम करते हैं, एक प्रणाली में पलायन करते हैं जिसमें संभावित रूप से महत्वपूर्ण आवश्यकताओं की पूर्ति हो सकती है और जानकारी के साथ साझा करना होगा आपके संगठन के बाहर किसी के द्वारा। कुछ स्थितियों में, यह अस्वीकार्य है।

इस मामले में सबसे अधिक विनाशकारी (मेरी राय में) सांस्कृतिक गिरावट की संभावना है - टीमें उस कोड को नहीं बदल सकती हैं जो वे समझ नहीं सकते हैं या बनाए नहीं रख सकते हैं, इसलिए जिम्मेदारियां धुंधली हैं, और मुख्य कार्य किसी और को सौंपना होगा। केवल जावा डेवलपर्स से युक्त टीमें अगली बड़ी लहर के लापता होने का जोखिम रखती हैं, जो उद्यम कंप्यूटिंग में बाढ़ आ जाएगी - मशीन सीखने की लहर।

इसलिए, यह महत्वपूर्ण और वांछनीय है कि मशीन सीखने के लिए प्रथम श्रेणी का समर्थन भाषा और जावा प्लेटफॉर्म पर दिखाई देता है। अन्यथा, एक जोखिम है कि अगले 5-10 वर्षों में जावा को अन्य भाषाओं द्वारा अधिगृहीत किया जाएगा जहां एमएल बेहतर समर्थन है।

ML में Python इतना हावी क्यों है?

आरंभ करने के लिए, आइए चर्चा करें कि पायथन मशीन सीखने और गहन सीखने में अग्रणी क्यों बन गया है।

मुझे संदेह है कि यह सब पूरी तरह से निर्दोष विशेषता के साथ शुरू हुआ - सूची स्लाइसिंग के लिए समर्थन। इस तरह का समर्थन एक्सटेंसिबल है: __getitem__ और __setitem__ तरीकों को लागू करने वाले किसी भी पायथन वर्ग को इस सिंटैक्स का उपयोग करके काटा जा सकता है। निम्नलिखित सूची दर्शाती है कि पायथन की यह विशेषता कितनी सरल और स्वाभाविक है।

 a = [1, 2, 3, 4, 5, 6, 7, 8] print(a[1:4]) # [2, 3, 4] –      print(a[1:-1]) #  [2, 3, 4, 5, 6, 7] -  0-    print(a[4:]) # [5, 6, 7, 8] –      print(a[:4]) # [1, 2, 3, 4] –      print(a[:4:2]) # [1, 3] (    )

बेशक, यह सब नहीं है। पायथन कोड "पुराने" जावा कोड की तुलना में बहुत अधिक कॉम्पैक्ट और संक्षिप्त है। अपवादों का समर्थन किया जाता है, लेकिन जाँच नहीं की जाती है, और डेवलपर्स आसानी से पायथन स्क्रिप्ट लिख सकते हैं जो एक उपभोज्य आइटम के रूप में उपयुक्त हैं - जावा वर्ल्डव्यू में डूबे बिना "कैसे काम करता है" यह कोशिश करें "सब कुछ एक वर्ग है"। पायथन में शामिल होना आसान है।

हालांकि, मेरी राय में, श्रेष्ठता का सबसे महत्वपूर्ण कारक (जो मुझे पायथन समुदाय को पायथन 2.7 और पायथन 3 के बीच संबंध बनाए रखने के लिए कड़ी मेहनत को पहचानने से नहीं रोकता है) यह है कि वे संचालन के लिए बहुत बेहतर डिज़ाइन और तेज पुस्तकालय बनाने में कामयाब रहे। संख्याओं के साथ - न्यूमपी। Numpy ndarray के आसपास बनाया गया है, एक वस्तु जो एक N- आयामी सरणी है। मैं प्रलेखन को उद्धृत करता हूं: “ न्यूपी में मुख्य वस्तु एक सजातीय बहुआयामी सरणी है। यह तत्वों की एक तालिका है (आमतौर पर संख्या), सभी एक ही प्रकार के, सकारात्मक पूर्णांकों के एक गुच्छे द्वारा अनुक्रमित। ” सभी NumPy काम आपके डेटा को ndarray और उन पर बाद के संचालन को लिखने पर आधारित है। NumPy विभिन्न प्रकार के अनुक्रमण, प्रसारण, गति के लिए वैश्वीकरण विकल्पों का समर्थन करता है, और आमतौर पर डेवलपर्स को बड़ी संख्यात्मक सरणियों को आसानी से बनाने और हेरफेर करने की अनुमति देता है।

निम्न सूची अभ्यास में अनुक्रमण और ndarray में प्रसारण दिखाती है - ये ML / DL में महत्वपूर्ण संचालन हैं।

 import numpy as np #    a = np.array([1.0, 2.0, 3.0]) b = 2.0 c = a * b print(c) #  [ 2. 4. 6.] -  b   /        c #2-d (   2)   NumPy –     - .e.  > 2 y = np.arange(35).reshape(5,7) print(y) # array([[ 0, 1, 2, 3, 4, 5, 6], # [ 7, 8, 9, 10, 11, 12, 13], # [14, 15, 16, 17, 18, 19, 20], # [21, 22, 23, 24, 25, 26, 27], # [28, 29, 30, 31, 32, 33, 34]]) print(y[0,0]) #     –    ,  0 print(y[4,]) #    4: array([28, 29, 30, 31, 32, 33, 34]) print(y[:,2]) #    2: array([ 2, 9, 16, 23, 30])

बड़े बहुआयामी संख्यात्मक सरणियों के साथ काम करते हुए, हम मशीन लर्निंग के लिए प्रोग्रामिंग के बहुत दिल को चिह्नित करते हैं, और विशेष रूप से - गहन शिक्षा। डीप न्यूरल नेटवर्क संख्याओं के स्तर पर बनाए गए नोड्स और किनारों के लैटिस होते हैं। नेटवर्क पर प्रशिक्षण या इसके आधार पर आउटपुट का प्रदर्शन करते समय रनटाइम संचालन को तेजी से मैट्रिक्स गुणन की आवश्यकता होती है।

NumPy के लिए धन्यवाद, बहुत कुछ किया गया है - scipy , पांडा, और कई अन्य NumPy-आधारित लाइब्रेरी। अग्रणी लर्निंग लाइब्रेरी (Google से Tensorflow , Facebook से PyTorch ) गंभीर रूप से Python का विकास कर रहे हैं। Tensorflow में Go, Java और JavaScript के लिए अन्य API हैं, लेकिन वे अपूर्ण हैं और अस्थिर माने जाते हैं। PyTorch मूल रूप से Lua में लिखा गया था, और लोकप्रियता में वास्तविक उछाल का अनुभव किया जब 2017 में यह स्पष्ट रूप से आला भाषा से मुख्य ML Python पारिस्थितिकी तंत्र में 2017 में चला गया।

अजगर दोष

पायथन एक आदर्श भाषा नहीं है, न ही सबसे लोकप्रिय रनटाइम, सीपीथॉन है। इसमें एक वैश्विक दुभाषिया ताला ( GIL ) है, इसलिए स्केलिंग करना आसान नहीं है। इसके अलावा, Pythorch और Tensorflow जैसे पायथन गहरे शिक्षण ढांचे अभी भी अपारदर्शी कार्यान्वयन के लिए महत्वपूर्ण तरीकों पर गुजरते हैं। उदाहरण के लिए, NVidia की cuDNN लाइब्रेरी का PyTorch RNN / LSTN कार्यान्वयन के दायरे पर एक बड़ा प्रभाव था । RNN और LSTM (आवर्तक तंत्रिका नेटवर्क और दीर्घकालिक अल्पकालिक मेमोरी) व्यावसायिक अनुप्रयोगों के लिए बहुत महत्वपूर्ण डीएल उपकरण हैं, विशेष रूप से क्योंकि वे चर लंबाई की क्रमिक श्रृंखला के वर्गीकरण और भविष्यवाणी में विशेषज्ञ हैं - उदाहरण के लिए। वेब नेविगेशन, क्लिकस्ट्रीम विश्लेषण, पाठ अंशों का विश्लेषण, उपयोगकर्ता की घटनाओं आदि।

अजगर के लिए निष्पक्षता के लिए, यह ध्यान दिया जाना चाहिए कि इस तरह की अस्पष्टता / सीमा एमएल या डीएल के लिए लगभग किसी भी ढांचे पर लागू होती है सिवाय सी या सी ++ में लिखे। क्यों? क्योंकि मैट्रिक्स गुणा के रूप में बुनियादी, अत्यधिक लोड किए गए संचालन के लिए अधिकतम प्रदर्शन प्राप्त करने के लिए, डेवलपर्स संभव के रूप में धातु के करीब जाते हैं।

इस क्षेत्र में प्रतिस्पर्धा करने के लिए जावा को क्या चाहिए?

मुझे लगता है कि जावा प्लेटफॉर्म को तीन प्रमुख परिवर्धन की आवश्यकता है। यदि इसे लागू किया जाता है, तो मशीन सीखने के लिए एक स्वस्थ और समृद्ध पारिस्थितिकी तंत्र फैलने लगेगा:

भाषा के मूल में देशी अनुक्रमण / स्लाइसिंग समर्थन जोड़ें ताकि आप पायथन के साथ इसके सभी उपयोग और अभिव्यक्ति की आसानी के साथ प्रतिस्पर्धा कर सकें। यह संभव है कि ऐसी क्षमताओं को मौजूदा ऑर्डर किए गए संग्रह, सूची <ई> इंटरफ़ेस के आसपास जावा में बनाया जाए। इस तरह के समर्थन के लिए, अधिभार की आवश्यकता को पहचानना भी आवश्यक होगा - यह बिंदु # 2 को पूरा करने के लिए आवश्यक है।
एक टेंसर कार्यान्वयन बनाएं - शायद java.math पैकेज में, लेकिन संग्रह API से बाहर निकलने के साथ भी। वर्गों और इंटरफेस का यह सेट ndarray बराबर काम कर सकता है और विशेष रूप से अनुक्रमण के लिए अतिरिक्त सहायता प्रदान करता है, विशेष रूप से, तीन प्रकार के अनुक्रमण जो कि NumPy में उपलब्ध हैं: खेतों तक पहुंच, सरल स्लाइस, और प्रोग्रामिंग के लिए आवश्यक उन्नत अनुक्रमण।
प्रसारण प्रदान करें - मनमाने (लेकिन संगत) आयामों के स्केलर और टेनर्स।

अगर ये तीनों कार्य जावा भाषा और रनटाइम के मूल में किए जा सकते हैं, तो हमने NumPy के बराबर "नुमावा" बनाने का रास्ता खोल दिया है। पनामा परियोजना सीपीयू, जीपीयू, टीपीयू पर किए गए तेज टेनर संचालन के लिए निम्न-स्तरीय पहुंच प्रदान करने के लिए भी उपयोगी हो सकती है और इतना ही नहीं कि जावा एमएल अपनी तरह का सबसे तेज बन सकता है।

मैं यह बिल्कुल नहीं कहता कि ये ऐड-ऑन तुच्छ हैं - नहीं, इससे बहुत दूर हैं, लेकिन पूरे जावा प्लेटफॉर्म के लिए उनके संभावित लाभ बहुत अधिक हैं।

निम्नलिखित सूची से पता चलता है कि भाषा के स्लाइसिंग सिंटैक्स के लिए समर्थन और ऑपरेटर ओवरलोडिंग पर मौजूदा प्रतिबंधों के समर्थन के साथ, न्यूपे से हमारा प्रसारण और इंडेक्सिंग उदाहरण न्यूजी में कैसे दिख सकता है।

 //      Java    //  var-  Java 10   //  Java    ,      "a * b" //       ? var a = new Tensor([1.0, 2.0, 3.0]); var b = 2.0; var c = a.mult(b); /** *    , ,      Tensor  Java. */ import static java.math.Numeric.arange; //arange   ,  reshape    var y = arange(35).reshape(5,7); System.out.println(y); // tensor([[ 0, 1, 2, 3, 4, 5, 6], // [ 7, 8, 9, 10, 11, 12, 13], // [14, 15, 16, 17, 18, 19, 20], // [21, 22, 23, 24, 25, 26, 27], // [28, 29, 30, 31, 32, 33, 34]]) System.out.println(y[0,0]); //     –    ,  0 System.out.println(y[4,]); //    4-  (5-     0): tensor([28, 29, 30, 31, 32, 33, 34]) System.out.println(y[:,2]); //    2-  (3-     0): tensor([ 2, 9, 16, 23, 30])

परिप्रेक्ष्य और कॉल टू एक्शन

हम सभी जानते हैं कि मशीन लर्निंग व्यवसाय की दुनिया को अपने समय से कम नहीं बदल देगा - संबंधपरक डेटाबेस, इंटरनेट और मोबाइल प्रौद्योगिकियां। उसके आसपास बहुत प्रचार है, लेकिन कुछ बहुत ही ठोस लेख और निष्कर्ष दिखाई देते हैं। उदाहरण के लिए, यह आलेख भविष्य का वर्णन करता है जब सिस्टम मशीन लर्निंग का उपयोग करके, डेटाबेस सर्वर, वेब सर्वर और एप्लिकेशन सर्वर के बैकग्राउंड में इष्टतम कॉन्फ़िगरेशन सीख सकता है। यहां तक कि आपको अपने सिस्टम में खुद को एमएल तैनात नहीं करना होगा - निश्चित रूप से, आपका एक विक्रेता ऐसा करने में सक्षम होगा।

इस आलेख में प्रस्तुत व्यावहारिक पदों के आधार पर, आप जावा में मशीन लर्निंग और डीप लर्निंग (जेआरई पर काम करना) के लिए वेब, लॉन्ग-टर्म स्टोरेज या एक्सएमएल पार्सिंग के लिए मौजूदा फ्रेमवर्क की तुलना में कम नहीं लिख सकते हैं - बस कल्पना कीजिए! आप अत्याधुनिक कंप्यूटर विज़न कार्यान्वयन, सीरियल डेटासेट के लिए आवर्तक तंत्रिका नेटवर्क LSTM के कार्यान्वयन (जो व्यवसाय के लिए महत्वपूर्ण महत्व के हैं) के लिए जावा फ्रेमवर्क की कल्पना कर सकते हैं, स्वचालित उन्नत और अधिक जैसे सबसे उन्नत एमएल सुविधाओं के साथ। तब ये फ्रेमवर्क अगली पीढ़ी के एंटरप्राइज़ सिस्टम को लागू करने और ईंधन बनाने में मदद करेंगे जो सभी समान टूल - आईडीई, टेस्ट फ्रेमवर्क, निरंतर एकीकरण का उपयोग करके मौजूदा जावा सिस्टम के साथ एकीकृत किया जा सकता है। सबसे महत्वपूर्ण बात, वे हमारे लोगों द्वारा लिखित और समर्थित होंगे। यदि आप एक जावा प्रशंसक हैं - क्या आप उस संभावना को पसंद नहीं करते हैं?

मशीन लर्निंग को पूरी तरह से सपोर्ट करने के लिए आपको जावा में क्या करने की आवश्यकता है

More articles: