महासागर के साथ एक एमएल परियोजना का आयोजन

प्रविष्टि

विकासशील एमएल और डीएल परियोजनाओं के वर्षों में, हमारे स्टूडियो ने एक बड़े कोड आधार, बहुत सारे अनुभव और दिलचस्प अंतर्दृष्टि और निष्कर्ष जमा किए हैं। एक नई परियोजना शुरू करते समय, यह उपयोगी ज्ञान आपको अधिक आत्मविश्वास से अनुसंधान शुरू करने, उपयोगी विधियों का पुन: उपयोग करने और पहले परिणाम तेजी से प्राप्त करने में मदद करता है।

यह बहुत महत्वपूर्ण है कि ये सभी सामग्री न केवल डेवलपर्स के दिमाग में हैं, बल्कि डिस्क पर पठनीय रूप में भी हैं। यह नए कर्मचारियों के अधिक प्रभावी प्रशिक्षण की अनुमति देगा, उन्हें तारीख तक लाएगा और उन्हें परियोजना में डुबो देगा।

बेशक, यह हमेशा मामला नहीं था। हमने शुरुआती दौर में बहुत सारी समस्याओं का सामना किया

• प्रत्येक परियोजना को अलग तरीके से आयोजित किया गया था, खासकर अगर वे अलग-अलग लोगों द्वारा शुरू किए गए थे।
• वे इस बात पर नज़र नहीं रखते थे कि कोड क्या कर रहा था, इसे कैसे चलाया जाए, और लेखक कौन था।
• वे उचित डिग्री के लिए वर्चुअलाइजेशन का उपयोग नहीं करते थे, अक्सर अपने सहयोगियों को एक अलग संस्करण के मौजूदा पुस्तकालयों को स्थापित करने से रोकते थे।
• ज्यूपिटर नोटबुक्स के पहाड़ में बसने और मरने वाले चार्ट से निष्कर्ष निकाले गए।
• परिणामों और परियोजना में प्रगति पर खोई हुई रिपोर्ट।

इन समस्याओं को एक बार और सभी के लिए हल करने के लिए, हमने तय किया कि हमें परियोजना के एकीकृत और उचित संगठन दोनों पर काम करना होगा, और वर्चुअलाइजेशन पर, व्यक्तिगत घटकों के अमूर्त और उपयोगी कोड का पुन: उपयोग करना होगा। धीरे-धीरे, इस क्षेत्र में हमारी सारी प्रगति एक स्वतंत्र ढांचे - महासागर में बढ़ गई।

केक पर चेरी - परियोजना लॉग्स, जो एकत्र होते हैं और एक सुंदर साइट में बदल जाते हैं, स्वचालित रूप से एक कमांड का उपयोग करके एकत्र किया जाता है।

लेख में, हम आपको एक छोटे से कृत्रिम उदाहरण के साथ बताएंगे कि महासागर किन भागों में हैं और इसका उपयोग कैसे करना है।

सागर क्यों?

एमएल की दुनिया में, अन्य विकल्प हैं जिन्हें हमने माना है। सबसे पहले, हमें एक वैचारिक प्रेरणादायक के रूप में कुकीस्कटर-डेटा-साइंस (इसके बाद सीडीएस) का उल्लेख करने की आवश्यकता है। चलो अच्छे से शुरू करते हैं: सीडीएस न केवल एक सुविधाजनक परियोजना संरचना प्रदान करता है, बल्कि यह भी बताता है कि परियोजना का प्रबंधन कैसे करें ताकि सब कुछ ठीक हो - इसलिए, हम अनुशंसा करते हैं कि आप खुदाई करें और मूल सीडीएस लेख में इस दृष्टिकोण के मुख्य मुख्य विचारों को देखें ।

काम के मसौदे में सीडीएस के साथ सशस्त्र, हमने तुरंत इसमें कई सुधार लाए: हमने एक सुविधाजनक फ़ाइल लकड़हारा जोड़ा, एक समन्वयक वर्ग जो परियोजना को नेविगेट करने के लिए जिम्मेदार है और स्फिंक्स प्रलेखन का एक स्वचालित जनरेटर है। इसके अलावा, मेकफाइल को कई कमांड सौंपे गए थे, ताकि परियोजना प्रबंधक के विवरण में एक असंबद्ध भी उन्हें निष्पादित करने के लिए सुविधाजनक था।

हालाँकि, इस प्रक्रिया में, सीडीएस दृष्टिकोण के minuses उभरने लगे:

• डेटा फ़ोल्डर बढ़ सकता है, लेकिन स्क्रिप्ट या नोटबुक में से कौन सी अगली फ़ाइल उत्पन्न करता है पूरी तरह से स्पष्ट नहीं है। बड़ी संख्या में फ़ाइलों को भ्रमित करना आसान है। यह स्पष्ट नहीं है कि नई कार्यक्षमता के कार्यान्वयन के ढांचे के भीतर, मौजूदा फ़ाइलों में से कुछ का उपयोग करना आवश्यक है, क्योंकि उनके उद्देश्य के लिए विवरण या प्रलेखन कहीं संग्रहीत नहीं है।
• डेटा में, वहाँ पर्याप्त सुविधाएँ सबफ़ोल्डर नहीं है जिसमें आप संकेतों को संग्रहीत कर सकते हैं: गणना किए गए आँकड़े, वैक्टर और अन्य विशेषताएं जिनसे डेटा के विभिन्न अंतिम प्रतिनिधित्व एकत्र किए जाएंगे। यह पहले से ही एक ब्लॉग पोस्ट में उल्लेखनीय रूप से लिखा गया है।
• src एक अन्य समस्या फ़ोल्डर है। इसमें ऐसे कार्य हैं जो संपूर्ण परियोजना के लिए प्रासंगिक हैं, उदाहरण के लिए, src.data मॉड्यूल के डेटा को तैयार करना और उसकी सफाई करना। लेकिन src.models मॉड्यूल भी है, जिसमें सभी प्रयोगों के सभी मॉडल शामिल हैं, और उनमें से दर्जनों हो सकते हैं। नतीजतन, src को बहुत बार अपडेट किया जाता है, बहुत मामूली बदलावों के साथ विस्तार किया जाता है, और सीडीएस दर्शन के अनुसार, प्रत्येक अपडेट के बाद, आपको प्रोजेक्ट को पुनर्निर्माण करने की आवश्यकता होती है, और यह समय भी है ... - ठीक है, आप समझते हैं।
• संदर्भ प्रस्तुत किए जाते हैं , लेकिन अभी भी एक खुला प्रश्न है: कौन, कब और किस रूप में सामग्री को वहां लाए। और आप परियोजना के दौरान बहुत कुछ बता सकते हैं: क्या काम किया गया है, उनका परिणाम क्या है, भविष्य की योजनाएं क्या हैं।

उपरोक्त समस्याओं को हल करने के लिए, निम्नलिखित सार महासागर में प्रस्तुत किया गया है: प्रयोग । एक प्रयोग कुछ परिकल्पना के परीक्षण में शामिल सभी आंकड़ों का भंडार है। इसमें शामिल हो सकता है: क्या डेटा का उपयोग किया गया था, किस डेटा (कलाकृतियों) के परिणामस्वरूप, कोड का संस्करण, प्रयोग का प्रारंभ और समाप्ति समय, निष्पादन योग्य फ़ाइल, पैरामीटर, मैट्रिक्स और लॉग। इस जानकारी में से कुछ को विशेष उपयोगिताओं का उपयोग करके ट्रैक किया जा सकता है, उदाहरण के लिए, एमएलफ्लो। हालाँकि, महासागर में प्रस्तुत प्रयोगों की संरचना अधिक समृद्ध और अधिक लचीली है।

एक प्रयोग का मॉड्यूल इस प्रकार है:

<project_root> └── experiments ├── exp-001-Tree-models │ ├── config <- yaml-   │ ├── models <-   │ ├── notebooks <-    │ ├── scripts <- , , train.py  predict.py │ ├── Makefile <-      │ ├── requirements.txt <-    │ └── log.md <-    │ ├── exp-002-Gradient-boosting ... 

हम कोड आधार साझा करते हैं: पुन: प्रयोज्य अच्छा कोड जो परियोजना के दौरान प्रासंगिक होता है वह परियोजना स्तर के src मॉड्यूल में रहता है। यह शायद ही कभी अद्यतन किया जाता है, इसलिए कम बार आपको एक परियोजना का निर्माण करना होगा। और एक प्रयोग के स्क्रिप्ट मॉड्यूल में ऐसा कोड होना चाहिए जो केवल वर्तमान प्रयोग के लिए प्रासंगिक हो। इस प्रकार, इसे अक्सर बदला जा सकता है: यह अन्य प्रयोगों में सहकर्मियों के काम को प्रभावित नहीं करता है।

आइए एक सार एमएल / डीएल परियोजना के उदाहरण का उपयोग करके हमारे ढांचे की संभावनाओं पर विचार करें।

प्रोजेक्ट वर्कफ़्लो

प्रारंभ

इसलिए, क्लाइंट - शिकागो पुलिस - ने हमें 2011-2017 के दौरान शहर में किए गए अपराधों का विश्लेषण करने और निष्कर्ष निकालने के लिए डेटा और कार्य को अपलोड किया।

चलो शुरू हो जाओ! हम टर्मिनल पर जाते हैं और कमांड निष्पादित करते हैं:

ocean project new -n Crimes

फ्रेमवर्क ने संबंधित अपराध प्रोजेक्ट फ़ोल्डर बनाया है। हम इसकी संरचना को देखते हैं:

 crimes ├── crimes <- src-   ,    ├── config <- ,     ├── data <-  ├── demos <-    ├── docs <- Sphinx- ├── experiments <-  ├── notebooks <-   EDA ├── Makefile <-       ├── log.md <-   ├── README.md └── setup.py 

एक ही नाम के मॉड्यूल से समन्वयक , जो पहले से ही लिखित और तैयार है, इन सभी फ़ोल्डरों को नेविगेट करने में मदद करता है। इसका उपयोग करने के लिए, परियोजना को इकट्ठा करने की आवश्यकता है:

make package

यह एक बग है : यदि मेक-कमांड निष्पादित नहीं करना चाहते हैं, तो उन्हें बी-फ्लैग जोड़ें, उदाहरण के लिए, "मेक-बी पैकेज"। यह आगे के सभी उदाहरणों पर लागू होता है।

लॉग और प्रयोग

हम इस तथ्य से शुरू करते हैं कि क्लाइंट डेटा, हमारे मामले में crimes.csv फ़ाइल, डेटा / कच्चे फ़ोल्डर में रखा गया है।

शिकागो वेबसाइट पर पदों में शहर के विभाजन के साथ नक्शे हैं ("बीट्स" - सबसे छोटा आकार का स्थान जिसके लिए एक गश्ती कार सौंपी गई है), सेक्टर ("सेक्टर", जिसमें 3-5 पद शामिल हैं), खंड ("जिले") शामिल हैं, 3 क्षेत्र), प्रशासनिक जिले ("वार्ड") और अंत में, सार्वजनिक क्षेत्र ("सामुदायिक क्षेत्र")। इस डेटा का उपयोग विज़ुअलाइज़ेशन के लिए किया जा सकता है। उसी समय, प्रत्येक प्रकार के बहुभुज वर्गों के निर्देशांक के साथ json फाइलें ग्राहक द्वारा भेजे गए डेटा नहीं हैं, इसलिए हम उन्हें डेटा / बाहरी में डालते हैं।

अगला, आपको प्रयोग की अवधारणा को पेश करने की आवश्यकता है। सब कुछ सरल है: हम एक अलग कार्य को एक अलग प्रयोग मानते हैं। डेटा को पार्स / पंप करने और भविष्य में उपयोग के लिए तैयार करने की आवश्यकता है? यह एक प्रयोग करने लायक है। बहुत सारे विज़ुअलाइज़ेशन और रिपोर्ट तैयार करें? अलग प्रयोग। एक मॉडल तैयार करके परिकल्पना का परीक्षण करें? खैर, आप बात करते हैं।

प्रोजेक्ट फ़ोल्डर से अपना पहला प्रयोग करने के लिए, हम प्रदर्शन करते हैं:

ocean exp new -n Parsing -a ivanov

अब exp-001-Parsing नाम के साथ एक नया फ़ोल्डर अपराधों / प्रयोगों के फ़ोल्डर में दिखाई दिया है, इसकी संरचना ऊपर दी गई है।

उसके बाद, आपको डेटा को देखने की आवश्यकता है। ऐसा करने के लिए, संबंधित नोटबुक फ़ोल्डर में एक लैपटॉप बनाएं। सर्फ में, हम नामकरण "लैपटॉप नंबर - नाम" का पालन करते हैं, और बनाए गए लैपटॉप को 001-पार्स-डेटा.इपिनब कहा जाएगा। अंदर हम आगे के काम के लिए डेटा तैयार करेंगे।

 import numpy as np import pandas as pd pd.options.display.max_columns = 100 #       : from crimes.coordinator import Coordinator coord = Coordinator() coord.data_raw.contents() > ['/opt/jupyterhub/notebooks/aolferuk/crimes/data/raw/crimes.csv'] #     : df = coord.data_raw.join('crimes.csv').load() df['Date'] = pd.to_datetime(df['Date']) df['Updated On'] = pd.to_datetime(df['Updated On']) df['Location X'] = np.nan df['Location Y'] = np.nan df.loc[df.Location.notnull(), 'Location X'] = df.loc[df.Location.notnull(), 'Location'].apply(lambda x: eval(x)[0]) df.loc[df.Location.notnull(), 'Location Y'] = df.loc[df.Location.notnull(), 'Location'].apply(lambda x: eval(x)[1]) df.drop('Location', axis=1, inplace=True) df['month'] = df.Date.apply(lambda x: x.month) df['day'] = df.Date.apply(lambda x: x.day) df['hour'] = df.Date.apply(lambda x: x.hour) #     : coord.data_interim.join('crimes.pkl').save(df) 

अपने सहयोगियों को इस बात की जानकारी देने के लिए कि आपने क्या किया है और क्या आपके परिणाम उनके द्वारा उपयोग किए जा सकते हैं, आपको लॉग में इस पर टिप्पणी करने की आवश्यकता है: फ़ाइल log.md। लॉग की संरचना (जो अनिवार्य रूप से एक परिचित मार्कडाउन फ़ाइल है) इस प्रकार है:

हाथ से भरे हुए हिस्सों को रंग में हाइलाइट किया गया है। प्रयोग का मुख्य मेटा (हल्का प्लम रंग) लेखक और उसके कार्य का स्पष्टीकरण है, जिसके परिणामस्वरूप प्रयोग हो रहा है। डेटा के लिंक, प्रक्रिया में (हरे रंग) दोनों को लिया और उत्पन्न किया गया, डेटा फ़ाइलों की निगरानी करने में मदद करता है और यह समझने में मदद करता है कि उनका उपयोग कौन और क्यों करता है। लॉग खुद (पीला रंग) कार्य, निष्कर्ष और तर्क का परिणाम बताता है। यह सारा डेटा बाद में प्रोजेक्ट लॉग साइट की सामग्री बन जाएगा।

अगला ईडीए चरण ( खोज डेटा विश्लेषण - "खुफिया डेटा विश्लेषण" ) है। शायद यह विभिन्न लोगों द्वारा संचालित किया जाएगा, और निश्चित रूप से, हमें बाद में रिपोर्ट और ग्राफ़ के रूप में परिणाम की आवश्यकता होगी। ये तर्क एक नया प्रयोग बनाने का एक अवसर है। हम बाहर ले:

ocean exp new -n Eda -a ivanov

प्रयोग के नोटबुक फ़ोल्डर में, 001-EDA.ipynb नोटबुक बनाएं । पूर्ण कोड का कोई मतलब नहीं है, लेकिन इसकी आवश्यकता नहीं है, उदाहरण के लिए, आपके सहयोगियों द्वारा। लेकिन आपको ग्राफ़ और निष्कर्ष की आवश्यकता है। नोटबुक में बहुत सारे कोड निकलते हैं, और यह अपने आप नहीं होता कि ग्राहक को क्या दिखाना है। इसलिए, हम log.md फ़ाइल में हमारे खोज और अंतर्दृष्टि को रिकॉर्ड करेंगे, और ग्राफ़ की तस्वीरों को संदर्भों में सहेजेंगे।

उदाहरण के लिए, शिकागो के सुरक्षित क्षेत्रों का एक नक्शा है, अगर भाग्य आपको वहां लाता है:

यह सिर्फ एक नोटबुक में प्राप्त किया गया था और संदर्भों में स्थानांतरित कर दिया गया था।

निम्नलिखित प्रविष्टि को लॉग में जोड़ा गया है:

 19.02.2019, 18:15 EDA conclusion: * The most common and widely spread crimes are theft (including burglary), battery and criminal damage done with firearms. * In 1 case out of 4 the suspect will be set free after detention. [!Criminal activity in different beats of the city](references/beats_activity.jpg) Actual exploration you can check in [the notebook](notebooks/001-Eda.ipynb) 

कृपया ध्यान दें: चार्ट को केवल md फ़ाइल में एक छवि सम्मिलित करने के लिए डिज़ाइन किया गया है। और अगर आप नोटबुक का लिंक छोड़ देते हैं, तो इसे html-format में बदल दिया जाएगा और साइट पर एक अलग पेज के रूप में सहेजा जाएगा।

प्रयोगों के लॉग से इसे एकत्र करने के लिए, हम परियोजना स्तर पर निम्नलिखित कमांड निष्पादित करते हैं:

ocean log new

उसके बाद, फ़ोल्डर अपराध / project_log बनाया गया है , और इसमें index.html प्रोजेक्ट लॉग है।

यह एक बग है : जब जुपिटर में प्रदर्शित किया जाता है, तो साइट को अधिक सुरक्षा के लिए एक आइफ्रेम के रूप में लागू किया जाता है, और इसलिए फोंट सही ढंग से प्रदर्शित नहीं होते हैं। इसलिए, महासागर का उपयोग करके, आप तुरंत साइट की एक प्रति के साथ एक संग्रह बना सकते हैं ताकि इसे डाउनलोड करने और स्थानीय कंप्यूटर पर इसे खोलने या मेल द्वारा भेजने के लिए सुविधाजनक हो। इस तरह:
ocean log archive [-n NAME] [-p PASSWORD]

प्रलेखन

आइए Sphinx का उपयोग करके दस्तावेज़ के निर्माण पर एक नज़र डालें। फ़ाइल अपराधों / my_cool_module.py में एक फ़ंक्शन बनाएं और इसे दस्तावेज़ करें। ध्यान दें कि स्फिंक्स पुन: संरचित पाठ प्रारूप (RST) का उपयोग करता है:

 def my_super_cool_random(max_value): ''' Returns a random number from [0; max_value) interval. Considers the number to be taken from uniform distribution. :param max_value: Maximum value that defines range. :returns: Random number. ''' return 4 # Good enough to begin with 

और फिर सब कुछ बहुत सरल है: परियोजना स्तर पर, हम प्रलेखन पीढ़ी टीम को निष्पादित करते हैं, और आप तैयार हैं:

ocean docs new

श्रोताओं से प्रश्न : क्यों, अगर हमने make माध्यम से परियोजना एकत्र की है, तो क्या आपको ocean माध्यम से प्रलेखन इकट्ठा करना ocean ?
उत्तर : प्रलेखन निर्माण प्रक्रिया केवल स्फिंक्स कमांड का निष्पादन नहीं है, जिसे make इन में रखा जा सकता है। महासागर आपके स्रोत कोड की सूची को स्कैन करता है, उनसे स्फिंक्स के लिए एक सूचकांक बनाता है, और उसके बाद ही स्फिंक्स खुद काम करने के लिए नीचे आता है।

रेडी-मेड html डॉक्यूमेंट आपको रास्ते के अपराधों / डॉक्स / _build / html / index.html के साथ इंतजार करवाता है । और टिप्पणियों के साथ हमारा मॉड्यूल पहले ही वहां दिखाई दे चुका है:

आदर्श

अगला कदम मॉडल का निर्माण करना है। हम बाहर ले:

ocean exp new -n Model -a ivanov

और इस बार, प्रयोग के अंदर स्क्रिप्ट फ़ोल्डर में क्या है, इस पर एक नज़र डालें। भविष्य की प्रशिक्षण प्रक्रिया के लिए train.py फ़ाइल एक रिक्त है। फ़ाइल में पहले से ही बॉयलरप्लेट कोड है जो एक साथ कई काम करता है।

• सीखने का कार्य कई फ़ाइल पथ लेता है:
  
  • कॉन्फ़िगरेशन फ़ाइल में, जिसमें मॉडल पैरामीटर, प्रशिक्षण मापदंडों, और अन्य विकल्पों को स्थानांतरित करना उचित है, जो कोड में delving के बिना, बाहर से नियंत्रित करने के लिए सुविधाजनक हैं।
  • डेटा फ़ाइल के लिए।
  • निर्देशिका का पथ जहां आप अंतिम मॉडल डंप को बचाना चाहते हैं।
• मफ़लो में सीखने की प्रक्रिया में प्राप्त मेट्रिक्स को ट्रैक करता है। प्रयोग फ़ोल्डर में make dashboard कमांड चलाकर, जो कुछ भी संकेत दिया गया है वह UI mlflow के माध्यम से देखा जा सकता है।
• आपके टेलीग्राम को अलर्ट भेजता है कि सीखने की प्रक्रिया पूरी हो गई है। इस तंत्र को लागू करने के लिए, अल्मारबॉट बॉट का उपयोग किया गया था। इस कार्य को करने के लिए, आपको बहुत कुछ करने की आवश्यकता है: बॉट को / स्टार्ट कमांड भेजें, और फिर बॉट द्वारा जारी किए गए टोकन को अपराधों / config / alarm_config.yml फ़ाइल में स्थानांतरित करें । स्ट्रिंग इस तरह दिख सकती है:
  ivanov: a5081d-1b6de6-5f2762
• इसे कंसोल से नियंत्रित किया जाता है।

कंसोल से हमारी स्क्रिप्ट क्यों प्रबंधित करें? सब कुछ व्यवस्थित किया जाता है ताकि किसी भी मॉडल की भविष्यवाणियों को सीखने या प्राप्त करने की प्रक्रिया आसानी से किसी तीसरे पक्ष के डेवलपर द्वारा आयोजित की जाए जो आपके प्रयोग के कार्यान्वयन के विवरण से परिचित नहीं है। पहेली के सभी टुकड़ों को एक साथ फिट करने के लिए, train.py के डिज़ाइन के बाद , आपको Makefile की व्यवस्था करनी होगी। इसमें ट्रेन कमांड रिक्त है, और आपको बस ऊपर सूचीबद्ध आवश्यक कॉन्फ़िगरेशन फ़ाइलों के लिए सही तरीके से सेट करना होगा, और उन सभी को सूचीबद्ध करना होगा जो उपयोगकर्ता नाम मान में टेलीग्राम सूचनाएं प्राप्त करना चाहते हैं। विशेष रूप से, उपनाम all काम करता है, जो सभी टीम के सदस्यों को अलर्ट भेजेगा।

एक बार सब कुछ तैयार हो जाने के बाद, हमारा प्रयोग make train साथ शुरू होता है, बस और सुरुचिपूर्ण ढंग से।

यदि आप अन्य लोगों के तंत्रिका नेटवर्क का उपयोग करना चाहते हैं, तो आभासी वातावरण ( वेनव ) मदद करेगा। प्रयोग के तौर पर उन्हें बनाना और हटाना बहुत आसान है:

• ocean env new एक नया वातावरण बनाएगा। यह न केवल डिफ़ॉल्ट रूप से सक्रिय है, बल्कि नोटबुक के लिए और आगे के शोध के लिए एक अतिरिक्त कर्नेल (कर्नेल) भी बनाता है। इसे उसी तरह कहा जाएगा जैसे प्रयोग के नाम पर।
• ocean env list कोर की एक ocean env list प्रदर्शित करती है।
• ocean env delete प्रयोग में निर्मित पर्यावरण को ocean env delete देगा।

क्या याद आ रही है?

• महासागर कोंडा के मित्र नहीं हैं ( क्योंकि हम इसका उपयोग नहीं करते हैं )।
• केवल अंग्रेजी में प्रोजेक्ट टेम्पलेट।
• स्थानीयकरण की समस्या अभी भी साइट पर लागू होती है: प्रोजेक्ट लॉग का निर्माण मानता है कि सभी लॉग अंग्रेजी में हैं।

निष्कर्ष

परियोजना का स्रोत कोड यहाँ है ।

यदि आप रुचि रखते हैं - महान! आप महासागर के भंडार में README में अधिक जानकारी प्राप्त कर सकते हैं।

और जैसा कि वे आमतौर पर ऐसे मामलों में कहते हैं, योगदान का स्वागत है, हम केवल तभी खुश होंगे जब आप इस परियोजना को बेहतर बनाने में भाग लेंगे।