डर को कैसे दूर करें और Azure Machine Learning का उपयोग शुरू करें

मैं कई डेटा वैज्ञानिकों को जानता हूं - और मैं शायद खुद उनसे संबंधित हूं - जो GPU, स्थानीय या आभासी के साथ मशीनों पर काम करते हैं, जो बादल में स्थित है, या तो ज्यूपिटर नोटबुक के माध्यम से, या कुछ पायथन विकास पर्यावरण के माध्यम से। एआई / एमएल विकास विशेषज्ञ के रूप में 2 साल के लिए काम करना, मैंने बस एक नियमित सर्वर या वर्कस्टेशन पर डेटा तैयार करते समय किया था, और एज़्योर में एक GPU के साथ वर्चुअल मशीन पर प्रशिक्षण शुरू किया था।

बेशक, हम सभी ने एज़्योर मशीन लर्निंग के बारे में सुना है - मशीन सीखने के लिए एक विशेष क्लाउड-आधारित प्लेटफ़ॉर्म। हालाँकि, परिचयात्मक लेखों पर पहली नज़र डालने के बाद, ऐसा लगता है कि Azure ML आपके लिए और अधिक समस्याएं पैदा करेगा, जितना कि यह हल करेगा। उदाहरण के लिए, ऊपर उल्लिखित प्रशिक्षण उदाहरण में, Azure ML प्रशिक्षण Jupyter नोटबुक से लॉन्च किया गया है, जबकि प्रशिक्षण स्क्रिप्ट को स्वयं बनाने और एक कोशिका फ़ाइल में पाठ फ़ाइल के रूप में संपादित करने का प्रस्ताव है - बिना स्वत: पूर्णता, वाक्यविन्यास, और सामान्य विकास पर्यावरण के अन्य लाभों के उपयोग के। इस कारण से, हमने लंबे समय तक अपने कार्य में Azure ML का गंभीरता से उपयोग नहीं किया है।

हालाँकि, मैंने हाल ही में अपने काम में प्रभावी रूप से Azure ML का उपयोग शुरू करने का एक तरीका खोजा है! दिलचस्प विवरण?

मुख्य रहस्य Azure ML के लिए Visual Studio कोड एक्सटेंशन है । यह आपको पर्यावरण के सभी लाभों का उपयोग करते हुए सीधे वीएस कोड में प्रशिक्षण स्क्रिप्ट विकसित करने की अनुमति देता है - आप स्क्रिप्ट को स्थानीय रूप से भी चला सकते हैं, और फिर इसे ले सकते हैं और माउस के कुछ क्लिक के साथ एज़ुरे एमएल क्लस्टर में प्रशिक्षण के लिए भेज सकते हैं। सुविधाजनक है, है ना?

ऐसा करने पर, आपको Azure ML का उपयोग करने से निम्नलिखित लाभ मिलते हैं:

• आप अपनी मशीन पर स्थानीय रूप से सुविधाजनक आईडीई में अधिकांश समय काम कर सकते हैं, और मॉडल को प्रशिक्षित करने के लिए केवल GPU का उपयोग कर सकते हैं । उसी समय, प्रशिक्षण संसाधनों का पूल स्वचालित रूप से आवश्यक लोड के लिए अनुकूल हो सकता है, और नोड्स की न्यूनतम संख्या को 0 पर सेट करके, आप प्रशिक्षण कार्यों की उपस्थिति में वर्चुअल मशीन "ऑन डिमांड" को स्वचालित रूप से शुरू कर सकते हैं।
• आप सभी सीखने के परिणामों को एक स्थान पर संग्रहीत कर सकते हैं , जिसमें प्राप्त मैट्रिक्स और परिणामी मॉडल शामिल हैं - सभी परिणामों को संग्रहीत करने के लिए किसी भी प्रणाली या प्रक्रिया का आविष्कार करने की कोई आवश्यकता नहीं है।
• एक ही समय में, कई लोग एक परियोजना पर काम कर सकते हैं - वे एक ही कंप्यूटिंग क्लस्टर का उपयोग कर सकते हैं, सभी प्रयोगों को पंक्तिबद्ध किया जाएगा, और वे एक दूसरे के प्रयोगों के परिणाम भी देख सकते हैं। ऐसा ही एक परिदृश्य डीप लर्निंग सिखाने में एज़ुर एमएल का उपयोग है , जब प्रत्येक छात्र एक GPU के साथ एक वर्चुअल मशीन देने के बजाय, आप एक क्लस्टर बना सकते हैं जिसका उपयोग हर कोई केंद्रीय रूप से करेगा। इसके अलावा, मॉडल सटीकता के साथ परिणामों की एक सामान्य तालिका एक अच्छे प्रतिस्पर्धी तत्व के रूप में काम कर सकती है।
• एज़्योर एमएल का उपयोग करते हुए, आप आसानी से प्रयोगों की एक श्रृंखला का संचालन कर सकते हैं, उदाहरण के लिए, हाइपरपरमेटर्स को अनुकूलित करने के लिए - यह कोड की कुछ पंक्तियों के साथ किया जा सकता है, मैन्युअल रूप से प्रयोगों की एक श्रृंखला आयोजित करने की आवश्यकता नहीं है।

मुझे आशा है कि मैंने आपको Azure ML की कोशिश करने के लिए मना लिया है! यहां बताया गया है कि शुरुआत कैसे करें:

• सुनिश्चित करें कि आपके पास विजुअल स्टूडियो कोड स्थापित है, साथ ही एज़्योर साइन इन और एज़ुर एमएल एक्सटेंशन भी हैं
• रिपॉजिटरी क्लोन करें https://github.com/CloudAdvocacy/AzureMLStarter - इसमें MNIST डेटासेट पर हस्तलिखित अंकों को पहचानने के लिए मॉडल को प्रशिक्षित करने के लिए कुछ डेमो कोड होते हैं।
• विजुअल स्टूडियो कोड में क्लोन रिपॉजिटरी खोलें।
• पर पढ़ें!

Azure ML कार्यक्षेत्र और Azure ML पोर्टल

कार्य क्षेत्र - कार्यक्षेत्र की अवधारणा के आसपास Azure ML का आयोजन किया जाता है। डेटा को कार्यक्षेत्र में संग्रहीत किया जा सकता है, प्रशिक्षण के लिए प्रयोगों को भेजा जाता है, सीखने के परिणाम एक ही स्थान पर संग्रहीत किए जाते हैं - प्राप्त मैट्रिक्स और मॉडल। आप देख सकते हैं कि एज़्योर एमएल पोर्टल के माध्यम से कार्यक्षेत्र के अंदर क्या है - और वहां से आप कई ऑपरेशन कर सकते हैं, डेटा लोडिंग से लेकर निगरानी प्रयोगों और मॉडल तैनाती तक।

आप Azure पोर्टल वेब इंटरफ़ेस ( चरण-दर-चरण निर्देश देखें ), या Azure CLI कमांड लाइन ( निर्देशों ) का उपयोग करके कार्यक्षेत्र बना सकते हैं:

az extension add -n azure-cli-ml az group create -n myazml -l northeurope az ml workspace create -w myworkspace -g myazml 

कार्यक्षेत्र से जुड़े कुछ कम्प्यूट संसाधन भी हैं। मॉडल के प्रशिक्षण के लिए एक स्क्रिप्ट बनाने के बाद, आप प्रयोग को कार्यक्षेत्र में भेज सकते हैं और गणना लक्ष्य निर्दिष्ट कर सकते हैं - यह स्क्रिप्ट को पैक करेगा, इसे वांछित कंप्यूटिंग वातावरण में चलाएगा, और फिर प्रयोग के सभी परिणाम आगे के विश्लेषण और उपयोग के लिए कार्यक्षेत्र में सहेजे जाएंगे।

MNIST के लिए प्रशिक्षण स्क्रिप्ट

MNIST डेटासेट का उपयोग करते हुए क्लासिक लिखावट पहचान समस्या पर विचार करें। इसी तरह, भविष्य में आप अपने किसी भी प्रशिक्षण स्क्रिप्ट को निष्पादित करने में सक्षम होंगे।

हमारी रिपॉजिटरी में एक train_local.py स्क्रिप्ट है जो SkLearn लाइब्रेरी का उपयोग करके सबसे सरल रैखिक प्रतिगमन मॉडल को प्रशिक्षित करता है। बेशक, मैं समझता हूं कि समस्या को हल करने का यह सबसे अच्छा तरीका नहीं है - हम इसे उदाहरण के रूप में, सबसे आसान के रूप में उपयोग करते हैं।

स्क्रिप्ट पहले MNML डेटा को OpenML से डाउनलोड करती है, और फिर मॉडल को प्रशिक्षित करने के लिए LogisticRegression वर्ग का उपयोग करती है, और फिर परिणामी सटीकता को प्रिंट करती है:

 mnist = fetch_openml('mnist_784') mnist['target'] = np.array([int(x) for x in mnist['target']]) shuffle_index = np.random.permutation(len(mist['data'])) X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3, random_state = 42) lr = LogisticRegression() lr.fit(X_train, y_train) y_hat = lr.predict(X_test) acc = np.average(np.int32(y_hat == y_test)) print('Overall accuracy:', acc) 

आप अपने कंप्यूटर पर स्क्रिप्ट चला सकते हैं और कुछ सेकंड में आपको परिणाम मिल जाएगा।

Azure ML में स्क्रिप्ट चलाएँ

यदि हम Azure ML के माध्यम से प्रशिक्षण के लिए स्क्रिप्ट चलाते हैं, तो हमें दो मुख्य लाभ होंगे:

• एक मनमाना कंप्यूटिंग संसाधन पर प्रशिक्षण शुरू करना, जो, एक नियम के रूप में, एक स्थानीय कंप्यूटर की तुलना में अधिक उत्पादक है। इसी समय, Azure ML वर्तमान स्क्रिप्ट से डॉकटर कंटेनर में सभी फ़ाइलों के साथ हमारी स्क्रिप्ट को पैक करने, आवश्यक निर्भरताएं स्थापित करने और निष्पादन के लिए भेजने का ध्यान रखेगा।
• Azure ML कार्यक्षेत्र के भीतर एक ही रजिस्ट्री में रिकॉर्ड परिणाम। इस अवसर का लाभ उठाने के लिए, हमें परिणामी सटीकता को रिकॉर्ड करने के लिए अपनी स्क्रिप्ट में कोड की कुछ पंक्तियों को जोड़ना होगा:

 from azureml.core.run import Run ... try: run = Run.get_submitted_run() run.log('accuracy', acc) except: pass 

स्क्रिप्ट के संगत संस्करण को train_universal.py कहा जाता है (यह ऊपर लिखे गए की तुलना में थोड़ा train_universal.py है, लेकिन बहुत अधिक नहीं)। यह स्क्रिप्ट स्थानीय और दूरस्थ कंप्यूटिंग संसाधन दोनों पर चलाई जा सकती है।

VS कोड से इसे Azure ML में चलाने के लिए, निम्नलिखित कार्य करें:

1. सुनिश्चित करें कि एज़्योर एक्सटेंशन आपकी सदस्यता से जुड़ा है। बाईं ओर मेनू में Azure आइकन चुनें। यदि आप कनेक्ट नहीं हैं, तो निचले दाएँ कोने ( यह एक ) में एक सूचना दिखाई देगी, जिस पर क्लिक करके आप ब्राउज़र के माध्यम से प्रवेश कर सकते हैं। आप वीएस कोड कमांड लाइन को लागू करने के लिए Ctrl-Shift-P दबा सकते हैं, और Azure साइन इन कर सकते हैं ।

   
   

2. उसके बाद, अज़ुरे खंड (बाईं ओर का चिह्न) में मशीन के खंड को खोजें:

   
   

यहां आपको कार्यक्षेत्र के अंदर वस्तुओं के विभिन्न समूहों को देखना चाहिए: कंप्यूटिंग संसाधन, प्रयोग आदि।

1. फ़ाइल सूची पर जाएं, train_universal.py स्क्रिप्ट पर राइट-क्लिक करें और Azure ML चुनें : Azure में प्रयोग के रूप में चलाएँ ।

1. इसके बाद वीएस कोड कमांड-लाइन क्षेत्र में संवाद की एक श्रृंखला होगी: उपयोग की गई सदस्यता और एज़ुर एमएल कार्यक्षेत्र की पुष्टि करें, और नया प्रयोग भी चुनें:

1. नई गणना बनाएँ चुनें:

   
   
   • गणना कंप्यूटिंग संसाधन को परिभाषित करती है जिस पर प्रशिक्षण होगा। आप एक स्थानीय कंप्यूटर, या एक AmlCompute क्लाउड क्लस्टर चुन सकते हैं। मैं मशीनों की एक मापनीय क्लस्टर बनाने की सलाह देता हूँ STANDARD_DS3_v2 , मशीनों की न्यूनतम संख्या 0 के साथ (और आपकी भूख के आधार पर अधिकतम 1 या अधिक हो सकती है)। यह वीएस कोड इंटरफेस के माध्यम से, या पहले एमएल पोर्टल के माध्यम से किया जा सकता है।
   
   

   

   
   

2. अगला, आपको कम्प्यूट कॉन्फ़िगरेशन कॉन्फ़िगरेशन का चयन करने की आवश्यकता है, जो प्रशिक्षण के लिए बनाए गए कंटेनर के मापदंडों को निर्धारित करता है, विशेष रूप से, सभी आवश्यक पुस्तकालयों। हमारे मामले में, चूंकि हम Scikit Learn का उपयोग करते हैं, SkLearn चुनें, और फिर Enter के साथ पुस्तकालयों की प्रस्तावित सूची की पुष्टि करें। यदि आप किसी अतिरिक्त लाइब्रेरी का उपयोग करते हैं, तो आपको उन्हें यहाँ निर्दिष्ट करना होगा।

   
   

   
   

   
   

3. उसके बाद, एक विंडो JSON फ़ाइल के साथ खुलती है जो प्रयोग का वर्णन करती है। इसमें, आप कुछ मापदंडों को ठीक कर सकते हैं - उदाहरण के लिए, प्रयोग का नाम। उसके बाद, इस फ़ाइल के अंदर सीधे प्रयोग जमा करें लिंक पर क्लिक करें:

   
   

1. वीएस कोड के माध्यम से प्रयोग को सफलतापूर्वक सबमिट करने के बाद, अधिसूचना क्षेत्र में दाईं ओर आपको Azure ML पोर्टल का लिंक दिखाई देगा, जहां आप प्रयोग की स्थिति और परिणामों को ट्रैक कर सकते हैं।

इसके बाद, आप इसे हमेशा प्रयोगों Azure ML पोर्टल अनुभाग में, या Azure मशीन लर्निंग अनुभाग में आंकड़ों की सूची में पा सकते हैं:

1. यदि उसके बाद आपने कोड में कुछ सुधार किए हैं या मापदंडों को बदल दिया है, तो प्रयोग को फिर से शुरू करना बहुत तेज और आसान होगा। फ़ाइल पर राइट-क्लिक करके, आपको एक नया मेनू आइटम दिखाई देगा रिपीट लास्ट रन - बस इसे चुनें और प्रयोग तुरंत लॉन्च किया जाएगा:

आप हमेशा Azure ML पोर्टल पर सभी लॉन्च से मैट्रिक्स के परिणाम पा सकते हैं, उन्हें रिकॉर्ड करने की कोई आवश्यकता नहीं है।

अब आप जानते हैं कि Azure ML के साथ प्रयोग करना आसान और दर्द रहित है, और आपको कई अच्छे लाभ मिलते हैं।

लेकिन आपने खामियां देखी होंगी। उदाहरण के लिए, स्क्रिप्ट को चलाने में अधिक समय लगा। बेशक, स्क्रिप्ट को एक कंटेनर में पैक करने और सर्वर पर तैनात करने में समय लगता है। यदि एक ही समय में क्लस्टर को 0 नोड के आकार में घटा दिया गया था, तो वर्चुअल मशीन को शुरू करने में और भी अधिक समय लगेगा, और यह सब बहुत ही ध्यान देने योग्य है जब हम MNIST जैसे सरल कार्यों के साथ प्रयोग करते हैं, जो कुछ सेकंड में हल हो जाते हैं। हालांकि, वास्तविक जीवन में, जब प्रशिक्षण कई घंटों या यहां तक ​​कि दिनों या हफ्तों तक रहता है, तो यह अतिरिक्त समय नगण्य हो जाता है, विशेष रूप से बहुत अधिक प्रदर्शन की पृष्ठभूमि के खिलाफ जो एक कंप्यूटिंग क्लस्टर प्रदान कर सकता है।

आगे क्या है?

मुझे आशा है कि इस लेख को पढ़ने के बाद आप स्क्रिप्ट चलाने, कंप्यूटिंग संसाधनों का प्रबंधन करने और परिणामों को संग्रहीत करने के लिए अपने काम में Azure ML का उपयोग करेंगे। हालाँकि, Azure ML आपको और भी अधिक लाभ प्रदान कर सकता है!

कार्यक्षेत्र के अंदर, आप डेटा स्टोर कर सकते हैं, जिससे आपके सभी कार्यों के लिए एक केंद्रीकृत भंडार का निर्माण हो सकता है, जिसे एक्सेस करना आसान है। इसके अलावा, आप विज़ुअल स्टूडियो कोड से प्रयोग नहीं कर सकते हैं, लेकिन एपीआई का उपयोग करना - यह विशेष रूप से उपयोगी हो सकता है यदि आपको हाइपरपैरामीटर का अनुकूलन करने की आवश्यकता है और विभिन्न मापदंडों के साथ कई बार स्क्रिप्ट चलाने की आवश्यकता है। इसके अलावा, एज़ुर एमएल में, विशेष हाइपरड्राइव तकनीक का निर्माण किया गया है , जो आपको हाइपरपैरेटर्स की अधिक चालाक खोज और अनुकूलन करने की अनुमति देता है। मैं अपने अगले लेख में इन सुविधाओं के बारे में बात करूंगा।

उपयोगी संसाधन

Azure ML के अधिक गहन अध्ययन के लिए, आप निम्नलिखित Microsoft जानें पाठ्यक्रम उपयोगी पा सकते हैं:

• Azure ML का परिचय
• Azure ML के साथ AI समाधान बनाएँ
• Azure ML के साथ एक स्थानीय मॉडल का प्रशिक्षण