🤭 🎒 ✒️ पायथन मशीन लर्निंग सॉफ्टवेयर 🌮 ⛳️ 🧝🏽

आज मशीन लर्निंग मॉडल बनाने के लिए बड़ी संख्या में सॉफ्टवेयर टूल हैं। इस तरह के पहले उपकरण वैज्ञानिकों और सांख्यिकीविदों के बीच बनाए गए थे, जहां इन भाषाओं में डेटा के प्रसंस्करण, विश्लेषण और दृश्य के लिए आर और पायथन भाषा लोकप्रिय हैं, ऐतिहासिक रूप से विकसित पारिस्थितिकी तंत्र हैं, हालांकि जावा, लुआ, सी ++ के लिए कुछ निश्चित मशीन लर्निंग लाइब्रेरी हैं। इसके अलावा, व्याख्या की गई प्रोग्रामिंग भाषा संकलित लोगों की तुलना में बहुत धीमी है, इसलिए, डेटा की तैयारी और मॉडल की संरचना व्याख्या की गई भाषा में वर्णित है, और संकलित भाषा में मुख्य गणना की जाती है।

इस पोस्ट में, हम मुख्य रूप से उन पुस्तकालयों के बारे में बात करेंगे जिनके पास पायथन में कार्यान्वयन है, क्योंकि इस भाषा में विभिन्न सेवाओं और प्रणालियों में एकीकरण के साथ-साथ विभिन्न सूचना प्रणालियों को लिखने के लिए बड़ी संख्या में पैकेज हैं। सामग्री में प्रसिद्ध पुस्तकालयों का एक सामान्य विवरण शामिल है और मुख्य रूप से उन लोगों के लिए उपयोगी होगा जो एमएल के क्षेत्र का अध्ययन करना शुरू करते हैं और मोटे तौर पर समझना चाहते हैं कि कुछ तरीकों के कार्यान्वयन के लिए कहां देखना है।

समस्याओं को हल करने के लिए विशिष्ट पैकेजों का चयन करते समय, पहली बात यह तय करना है कि क्या आपकी समस्याओं को हल करने के लिए उनके पास एक तंत्र है इसलिए, उदाहरण के लिए, छवि विश्लेषण के लिए, सबसे अधिक संभावना है, आपको तंत्रिका नेटवर्क से निपटना होगा, और पाठ के साथ काम करने के लिए - आवर्तक नेटवर्क के साथ, डेटा की एक छोटी राशि के साथ, तंत्रिका नेटवर्क को संभवतः छोड़ना होगा।

पाइथन में सामान्य प्रयोजन पुस्तकालय

इस खंड में वर्णित सभी पैकेज लगभग किसी भी मशीन सीखने के काम को हल करने के लिए उपयोग किए जाते हैं। अक्सर वे पूरे मॉडल का निर्माण करने के लिए पर्याप्त होते हैं, कम से कम पहले सन्निकटन में।

NumPy

रैखिक बीजगणित संचालन और संख्यात्मक परिवर्तनों के प्रदर्शन के लिए एक खुला स्रोत पुस्तकालय। एक नियम के रूप में, ऐसे ऑपरेशन डेटासेट को परिवर्तित करने के लिए आवश्यक हैं, जिन्हें मैट्रिक्स के रूप में दर्शाया जा सकता है। लाइब्रेरी ने बहुआयामी सरणियों, फूरियर रूपांतरण और यादृच्छिक संख्या जनरेटर के साथ काम करने के लिए बड़ी संख्या में संचालन को लागू किया है। कई अन्य पुस्तकालयों (जैसे पंडों, स्किकिट-लर्न, साइपी) में संख्यात्मक डेटा संग्रहीत करने के लिए नम्पी भंडारण प्रारूप डी वास्तविक मानक हैं।

वेबसाइट : www.numpy.org

पांडा

डाटा प्रोसेसिंग के लिए लाइब्रेरी। इसका उपयोग करते हुए, आप लगभग किसी भी स्रोत से डेटा डाउनलोड कर सकते हैं (मशीन सीखने के लिए मुख्य डेटा भंडारण प्रारूपों के साथ एकीकरण), विभिन्न कार्यों की गणना करें और नए पैरामीटर बनाएं, SQL में लागू किए गए कुल कार्यों का उपयोग करके डेटा प्रश्नों का निर्माण करें। इसके अलावा, डेटा से जानकारी प्राप्त करने के लिए विभिन्न प्रकार के मैट्रिक्स परिवर्तन फ़ंक्शन, एक स्लाइडिंग विंडो विधि और अन्य तरीके हैं।

वेबसाइट : pandas.pydata.org

Scikit सीखने

एक दशक से अधिक इतिहास वाली सॉफ्टवेयर लाइब्रेरी में लगभग सभी संभावित परिवर्तनों के कार्यान्वयन शामिल हैं, और अक्सर यह पूरी तरह से मॉडल को लागू करने के लिए पर्याप्त है। एक नियम के रूप में, जब पायथन में लगभग किसी भी मॉडल को प्रोग्रामिंग करते हैं, तो इस पुस्तकालय का उपयोग करने वाले कुछ परिवर्तन हमेशा मौजूद होते हैं।
स्किकिट-लर्न में डेटासेट को परीक्षण और प्रशिक्षण में विभाजित करने, डेटा सेट पर बुनियादी मैट्रिक्स की गणना करने और क्रॉस-सत्यापन का संचालन करने के तरीके हैं। पुस्तकालय में मशीन सीखने के लिए बुनियादी एल्गोरिदम भी हैं: रैखिक प्रतिगमन (और इसके लास्सो, रिज प्रतिगमन के संशोधन), समर्थन वैक्टर, निर्णय पेड़ और वन, आदि। मुख्य क्लस्टरिंग विधियों के कार्यान्वयन भी हैं। इसके अलावा, पुस्तकालय में मापदंडों (सुविधाओं) के साथ काम करने के लिए शोधकर्ताओं द्वारा लगातार उपयोग की जाने वाली विधियां शामिल हैं: उदाहरण के लिए, प्रमुख घटक विधि का उपयोग करके आयाम को कम करना। Imblearn पुस्तकालय पैकेज का हिस्सा है, जिससे आप असंतुलित नमूनों के साथ काम कर सकते हैं और नए मान उत्पन्न कर सकते हैं।

वेबसाइट : www.scikit-learn.org

SciPy

शोध के लिए बनाया गया एक व्यापक पुस्तकालय। इसमें गणितीय विश्लेषण से कार्यों का एक बड़ा सेट शामिल है, जिसमें इंटीग्रल्स की गणना, अधिकतम और न्यूनतम की खोज, सिग्नल और छवियों के प्रसंस्करण के कार्य शामिल हैं। कई मायनों में, इस पुस्तकालय को पायथन भाषा में डेवलपर्स के लिए MATLAB पैकेज का एक एनालॉग माना जा सकता है। इसकी मदद से, आप समीकरणों के सिस्टम को हल कर सकते हैं, आनुवंशिक एल्गोरिदम का उपयोग कर सकते हैं और कई अनुकूलन कार्य कर सकते हैं।

वेबसाइट : www.scipy.org

विशिष्ट पुस्तकालय

इस खंड में, पुस्तकालयों में या तो एक विशिष्ट क्षेत्र में प्रयोज्यता या सीमित संख्या में उपयोगकर्ताओं के साथ लोकप्रिय माना जाता है।

Tensorflow

Google द्वारा दसियों के साथ काम करने के लिए विकसित एक पुस्तकालय का उपयोग तंत्रिका नेटवर्क के निर्माण के लिए किया जाता है। ग्राफिक्स कार्ड पर कंप्यूटिंग के लिए समर्थन में C ++ भाषा के लिए एक संस्करण है। इस पुस्तकालय के आधार पर, उच्च-स्तरीय पुस्तकालयों का निर्माण संपूर्ण परतों के स्तर पर तंत्रिका नेटवर्क के साथ काम करने के लिए किया जाता है। इसलिए, कुछ समय पहले, लोकप्रिय केरस पुस्तकालय ने समान थीनो पुस्तकालय के बजाय गणना के लिए मुख्य बैकेंड के रूप में टेन्सरफ्लो का उपयोग करना शुरू किया। NVIDIA ग्राफिक्स कार्ड पर काम करने के लिए cuDNN लाइब्रेरी का उपयोग किया जाता है। यदि आप चित्रों के साथ (दृढ़ तंत्रिका नेटवर्क के साथ) काम करते हैं, तो आपको इस पुस्तकालय का उपयोग करने की सबसे अधिक संभावना होगी।

वेबसाइट : www.tensorflow.org

Keras

तंत्रिका नेटवर्क के निर्माण के लिए एक पुस्तकालय जो मुख्य प्रकार की परतों और संरचनात्मक तत्वों का समर्थन करता है। यह दोनों आवर्तक और दृढ़ तंत्रिका नेटवर्क का समर्थन करता है, जिसमें प्रसिद्ध तंत्रिका नेटवर्क आर्किटेक्चर (उदाहरण के लिए, VG16) का कार्यान्वयन शामिल है। कुछ समय पहले, इस पुस्तकालय से परतें Tensorflow पुस्तकालय के अंदर उपलब्ध हुईं। छवियों और पाठ (शब्दों को एम्बेड करना, आदि) के साथ काम करने के लिए तैयार कार्य हैं। Dist-keras वितरण का उपयोग करते हुए Apache Spark में एकीकृत।

वेबसाइट : www.keras.io

Caffe

बर्कले विश्वविद्यालय से तंत्रिका नेटवर्क के प्रशिक्षण के लिए एक रूपरेखा। TensorFlow की तरह, यह NVIDIA ग्राफिक्स कार्ड के साथ काम करने के लिए cuDNN का उपयोग करता है। इसमें अधिक ज्ञात तंत्रिका नेटवर्क का कार्यान्वयन शामिल है, जो अपाचे स्पार्क (कैफ़ेन्स्पार्क) में एकीकृत पहले ढांचे में से एक है।

वेबसाइट : Cafee.berkeleyvision.org

pyTorch

आपको लुआ भाषा के लिए मशाल पुस्तकालय को पायथन भाषा में पोर्ट करने की अनुमति देता है। इसमें तंत्रिका नेटवर्क के साथ काम करने के लिए छवियों, सांख्यिकीय संचालन और उपकरणों के साथ काम करने के लिए एल्गोरिदम का कार्यान्वयन शामिल है। अलग-अलग, आप अनुकूलन एल्गोरिदम (विशेष रूप से स्टोचस्टिक ढाल वंश) के लिए उपकरणों का एक सेट बना सकते हैं।

वेबसाइट : www.torch.ch

निर्णय पेड़ों पर क्रमिक बूस्ट कार्यान्वयन

इस तरह के एल्गोरिदम आमतौर पर ब्याज में वृद्धि का कारण बनते हैं, क्योंकि वे अक्सर तंत्रिका नेटवर्क की तुलना में बेहतर परिणाम दिखाते हैं। यह विशेष रूप से सच है यदि आपके पास बहुत बड़े डेटा सेट नहीं हैं (एक बहुत मोटा अनुमान: हजारों और दसियों हजारों, लेकिन लाखों के दसियों नहीं)। कग्गल प्रतिस्पर्धी मंच पर विजेता मॉडल में, निर्णय पेड़ों पर ढाल बूस्टिंग एल्गोरिदम काफी सामान्य हैं।
एक नियम के रूप में, इस तरह के एल्गोरिदम का कार्यान्वयन व्यापक-आधारित मशीन लर्निंग लाइब्रेरी में है (उदाहरण के लिए, स्किट-लर्न में)। हालांकि, इस एल्गोरिदम के विशेष कार्यान्वयन हैं, जिन्हें अक्सर विभिन्न प्रतियोगिताओं के विजेताओं के बीच पाया जा सकता है। यह निम्नलिखित पर प्रकाश डालने लायक है।

Xgboost

ग्रेडिएंट बूस्टिंग का सबसे आम कार्यान्वयन। 2014 में दिखाई दिया, 2016 तक इसने पहले ही काफी लोकप्रियता हासिल कर ली थी। विभाजन का चयन करने के लिए हिस्टोग्राम विश्लेषण के आधार पर छंटनी और मॉडल का उपयोग किया जाता है।

वेबसाइट : github.com/dmlc/xgboost

LightGBM

Microsoft की ओर से 2017 में जारी किया गया ग्रैडिएंट बूस्ट ऑप्शन। ग्रैडिएंट-बेस्ड वन-साइड सैंपलिंग (GOSS) का उपयोग विभाजन की कसौटी को चुनने के लिए किया जाता है। श्रेणीबद्ध विशेषताओं के साथ काम करने के तरीके हैं, अर्थात्। ऐसे संकेतों के साथ जो किसी संख्या द्वारा स्पष्ट रूप से व्यक्त नहीं किए जाते हैं (उदाहरण के लिए, कार के लेखक या ब्रांड का नाम)। यह .net के लिए मशीन लर्निंग अप्रोच के कार्यान्वयन के लिए समर्पित Microsoft DMTK परियोजना का हिस्सा है।

वेबसाइट : www.dmtk.io

CatBoost

यैंडेक्स का विकास, जो कि लाइट जीबीएम की तरह, 2017 में जारी किया गया था, श्रेणीबद्ध विशेषताओं के प्रसंस्करण के लिए एक विशेष दृष्टिकोण को लागू करता है (लक्ष्य एन्कोडिंग के आधार पर, अर्थात् पूर्वानुमानित मूल्य के आधार पर आंकड़ों के साथ श्रेणीबद्ध सुविधाओं की जगह)। इसके अलावा, एल्गोरिथ्म में पेड़ के निर्माण के लिए एक विशेष दृष्टिकोण शामिल है, जिसने सर्वोत्तम परिणाम दिखाए। हमारी तुलना से पता चला कि यह एल्गोरिथ्म दूसरों की तुलना में सीधे बेहतर काम करता है, अर्थात कोई भी पैरामीटर सेट किए बिना।

वेबसाइट : catboost.yandex

Microsoft संज्ञानात्मक टूलकिट (CNTK)

Microsoft Corporation के ढांचे में C ++ इंटरफ़ेस है। विभिन्न तंत्रिका नेटवर्क आर्किटेक्चर का कार्यान्वयन प्रदान करता है। यह .Net के साथ एक दिलचस्प एकीकरण हो सकता है।

वेबसाइट : www.microsoft.com/en-us/cognitive-toolkit

अन्य विकास संसाधन

जैसे-जैसे मशीन लर्निंग अधिक लोकप्रिय हो गई है, परियोजनाएं बार-बार विकास को आसान बनाने और इसे ऑनलाइन उपयोग के साथ चित्रमय रूप में लाने के लिए दिखाई दी हैं। इस क्षेत्र में, कई पर ध्यान दिया जा सकता है।

Azure ML

Microsoft Azure प्लेटफ़ॉर्म पर मशीन लर्निंग सेवा, जिसमें आप ग्राफ़ के रूप में डेटा प्रोसेसिंग का निर्माण कर सकते हैं और दूरस्थ सर्वर पर गणना कर सकते हैं, जिसमें पायथन कोड और अन्य को शामिल करने की क्षमता है।

वेबसाइट: azure.microsoft.com/ru-ru/services/machine-learning-studio

IBM DataScience अनुभव (IBM DSX)

पाइथन और अन्य में गणना करने की क्षमता के साथ जुपिटर नोटबुक वातावरण में काम करने के लिए एक सेवा। प्रसिद्ध डेटासेट और स्पार्क, आईबीएम वाटसन परियोजना के साथ एकीकरण का समर्थन करता है।

वेबसाइट : ibm.com/cloud/watson-studio

सामाजिक विज्ञान पैकेज

उनमें से सामाजिक विज्ञान के लिए आईबीएम सांख्यिकीय पैकेज (एसपीएसएस), सामाजिक विज्ञान में आंकड़ों के प्रसंस्करण के लिए एक आईबीएम सॉफ्टवेयर उत्पाद है, जो डेटा प्रोसेसिंग प्रक्रिया को स्थापित करने के लिए एक ग्राफिकल इंटरफ़ेस का समर्थन करता है। कुछ समय पहले, समग्र निष्पादन संरचना में मशीन लर्निंग एल्गोरिदम को एम्बेड करना संभव हो गया। सामान्य तौर पर, मशीन लर्निंग एल्गोरिदम के लिए सीमित समर्थन सांख्यिकीविद् पैकेजों के बीच लोकप्रिय हो रहा है जिसमें पहले से ही सांख्यिकीय कार्य और विज़ुअलाइज़ेशन के तरीके (जैसे कि झांकी और एसएएस) शामिल हैं।

निष्कर्ष

सॉफ़्टवेयर पैकेज का विकल्प जिसके आधार पर कार्य हल किया जाएगा, आमतौर पर निम्नलिखित स्थितियों द्वारा निर्धारित किया जाता है।

जिस वातावरण में मॉडल का उपयोग किया जाएगा: क्या स्पार्क समर्थन की आवश्यकता है, किन सेवाओं को एकीकृत करने की आवश्यकता है।
डेटा सुविधाएँ। डेटा क्या है: छवि, पाठ, या यह संख्याओं का एक सेट है, उन्हें किस तरह के प्रसंस्करण की आवश्यकता है?
इस प्रकार के कार्य के लिए मॉडल का पूर्वानुभव। छवियों से डेटा आमतौर पर दृढ़ तंत्रिका नेटवर्क द्वारा संसाधित किया जाता है, और निर्णय पेड़ों पर आधारित एल्गोरिदम का उपयोग छोटे डेटा सेट के लिए किया जाता है।
प्रशिक्षण और उपयोग दोनों में कंप्यूटिंग शक्ति पर सीमाएं।

एक नियम के रूप में, पायथन में विकसित होने पर, सामान्य-उद्देश्य पुस्तकालयों (पंडों, स्किकिट-लर्न, एनपीपीवाई) के उपयोग से बचा नहीं जा सकता है। इस तथ्य के कारण यह है कि उनका इंटरफ़ेस अधिकांश विशेष पुस्तकालयों का समर्थन करता है, लेकिन अगर यह मामला नहीं है, तो आपको यह समझने की आवश्यकता है कि आपको अपने आप को कनेक्टर्स लिखना होगा या किसी अन्य पुस्तकालय का चयन करना होगा।

आप अपेक्षाकृत कम संख्या में पुस्तकालयों का उपयोग करके पहले मॉडल का निर्माण कर सकते हैं, और फिर आपको यह तय करना होगा कि क्या समय बिताना है: विकासशील मापदंडों (सुविधा इंजीनियरिंग) या इष्टतम पुस्तकालय और एल्गोरिथ्म को चुनना, या समानांतर में इन कार्यों का प्रदर्शन करना।

अब चुनाव के लिए सिफारिशों के बारे में थोड़ा। यदि आपको एक एल्गोरिथ्म की आवश्यकता है जो बॉक्स के ठीक बाहर काम करता है, तो यह कैटबॉस्ट है। यदि आप छवियों के साथ काम करने का इरादा रखते हैं, तो आप केरस और टेन्सरफ्लो या कैफ का उपयोग कर सकते हैं। पाठ के साथ काम करते समय, आपको यह तय करने की आवश्यकता है कि क्या आप एक तंत्रिका नेटवर्क बनाने और संदर्भ को ध्यान में रखना चाहते हैं। यदि हाँ, छवियों के लिए भी यही इच्छा है, अगर एक "शब्दों का बैग" (प्रत्येक शब्द की घटना की आवृत्ति विशेषताओं) पर्याप्त है, ढाल बूस्टिंग एल्गोरिदम उपयुक्त हैं। छोटे डेटा सेट के साथ, आप Scikit-learn और उसी लाइब्रेरी में लागू रैखिक तरीकों से नए डेटा उत्पन्न करने के लिए एल्गोरिदम का उपयोग कर सकते हैं।

एक नियम के रूप में, वर्णित लाइब्रेरी अधिकांश समस्याओं को हल करने के लिए पर्याप्त हैं, यहां तक कि प्रतियोगिताओं को जीतने के लिए भी। मशीन लर्निंग का क्षेत्र बहुत तेजी से विकसित हो रहा है - हमें यकीन है कि इस पोस्ट को लिखने के समय नए ढांचे पहले ही सामने आ चुके हैं।

जेट इन्फोसिस्टम्स मशीन लर्निंग ग्रुप के प्रमुख निकोले कनीज़ेव

पायथन मशीन लर्निंग सॉफ्टवेयर