डेटा संस्करण नियंत्रण (DVC): डेटा संस्करण और प्रयोग प्रतिलिपि प्रस्तुत करने योग्यता

यह आलेख एक प्रकार का मास्टर वर्ग है "एमएल प्रयोगों और डेटा संस्करण को स्वचालित करने के लिए डीवीसी", जो 18 जून को एमएल आरपीए (मशीन लर्निंग आरपीए) में हुआ था:
हमारे बैंक साइट पर Reproducibility, प्रयोग और पाइपलाइन स्वचालन)।

यहां मैं डीवीसी के आंतरिक काम की विशेषताओं और परियोजनाओं में इसका उपयोग करने के तरीके के बारे में बात करूंगा।

लेख में उपयोग किए गए कोड उदाहरण यहां उपलब्ध हैं । कोड का परीक्षण MacOS और Linux (Ubuntu) पर किया गया था।

सामग्री

भाग 1

• डीवीसी सेटअप
• DVC सुविधाएँ
  
  • वर्जनिंग मॉडल और डेटा
  • एमएल पाइपलाइनों का स्वचालन
  • मेट्रिक्स ट्रैकिंग
  • पाइपलाइन पुनरुत्पत्ति
  • दूरस्थ रिपॉजिटरी में डेटा सहेजना

भाग २

• अपनी परियोजनाओं में डीवीसी कैसे लागू करें?

डीवीसी सेटअप

डेटा संस्करण नियंत्रण एक उपकरण है जिसे एमएल परियोजनाओं में मॉडल और डेटा संस्करणों का प्रबंधन करने के लिए डिज़ाइन किया गया है। यह प्रायोगिक स्तर पर और अपने मॉडलों को संचालन में तैनात करने के लिए उपयोगी है।



डीवीसी आपको डीएस परियोजनाओं में मॉडल, डेटा और पाइपलाइनों को संस्करण करने की अनुमति देता है।
स्रोत यहाँ है ।

आइए आईरिस रंग वर्गीकरण समस्या के उदाहरण का उपयोग करके डीवीसी ऑपरेशन को देखें। इसके लिए आइरिस डेटा सेट का इस्तेमाल किया जाएगा। डीवीसी के साथ काम करने के अन्य उदाहरण ज्यूपिटर नोटबुक द्वारा दिखाए गए हैं।

आपको क्या करने की आवश्यकता है:

• एक क्लोन भंडार;
• एक आभासी वातावरण बनाएं;
• आवश्यक अजगर पैकेज स्थापित करें;
• DVC को इनिशियलाइज़ करें।

इसलिए, हम रिपॉजिटरी को क्लोन करते हैं, एक आभासी वातावरण बनाते हैं और आवश्यक पैकेज स्थापित करते हैं। स्थापना और लॉन्च निर्देश README रिपॉजिटरी में हैं।

1. इस रिपॉजिटरी को क्लोन करें

git clone https://gitlab.com/7labs.ru/tutorials-dvc/dvc-1-get-started.git cd dvc-1-get-started 

2. आभासी वातावरण बनाएं और सक्रिय करें

 pip install virtualenv virtualenv venv source venv/bin/activate 

3. अजगर पुस्तकालयों (डीवीसी सहित) स्थापित करें

 pip install -r requirements.txt 

डीवीसी को स्थापित करने के लिए, pip install dvc कमांड का उपयोग करें। स्थापना के बाद, आपको DVC dvc init प्रोजेक्ट फ़ोल्डर में DVC को इनिशियलाइज़ करना होगा, जो DVC के आगे के काम के लिए फ़ोल्डर्स का एक सेट उत्पन्न करेगा।

4. डेमो रिपॉजिटरी में नई शाखा चेकआउट करें (मास्टर शाखा की सामग्री को पोंछने के लिए नहीं)

 git checkout -b dvc-tutorial 

5. प्रारंभिक डीवीसी

 dvc init commit dvc init git commit -m "Initialize DVC" 

DVC Git के शीर्ष पर चलता है, इसके बुनियादी ढांचे का उपयोग करता है, और इसके समान सिंटैक्स है।
इस प्रक्रिया में, DVC पाइपलाइनों और संस्करणित फ़ाइलों का वर्णन करने के लिए मेटा फ़ाइलें बनाता है, जिन्हें आपको अपने प्रोजेक्ट के इतिहास को सहेजने की आवश्यकता है। इसलिए, dvc init को निष्पादित करने के बाद dvc init आपको आवश्यक सभी सेटिंग्स को करने के लिए git commit चलना चाहिए।

.dvc फ़ोल्डर आपके रिपॉजिटरी में दिखाई देगा, जिसमें cache और .dvc झूठ होगा।

.dvc की सामग्री इस तरह .dvc देगी:

 ./ ../ .gitignore cache/ config 

कॉन्फ़िगरेशन DVC कॉन्फ़िगरेशन है, और कैश सिस्टम फ़ोल्डर है जिसमें DVC आपके द्वारा संस्करण किए जाने वाले सभी डेटा और मॉडल को संग्रहीत करेगा।

DVC एक .gitignore फ़ाइल भी बनाएगा, जिसमें यह उन फ़ाइलों और फ़ोल्डरों को लिखेगा जिन्हें रिपॉजिटरी के लिए प्रतिबद्ध होने की आवश्यकता नहीं है। जब आप Git में संस्करण के लिए एक फ़ाइल को DVC में स्थानांतरित करते हैं, तो संस्करण और मेटाडेटा सहेजे जाएंगे, और फ़ाइल स्वयं कैश में संग्रहीत की जाएगी।

अब आपको सभी निर्भरताएं स्थापित करने की आवश्यकता है, और फिर नई dvc-tutorial शाखा में एक checkout , जिसमें हम काम करेंगे। और आइरिस डाटासेट डाउनलोड करें।

डेटा प्राप्त करें

 wget -P data/ https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv 

DVC सुविधाएँ

वर्जनिंग मॉडल और डेटा

स्रोत यहाँ है ।

मुझे आपको याद दिलाना है कि यदि आप डीवीसी के नियंत्रण में कुछ डेटा स्थानांतरित करते हैं, तो यह सभी परिवर्तनों को ट्रैक करना शुरू कर देगा। और हम इस डेटा के साथ Git के समान कार्य कर सकते हैं: संस्करण को सहेजें, इसे दूरस्थ रिपॉजिटरी में भेजें, डेटा का सही संस्करण प्राप्त करें, बदलें और संस्करणों के बीच स्विच करें। डीवीसी पर इंटरफ़ेस बहुत सरल है।

dvc add कमांड दर्ज करें और उस फ़ाइल का पथ निर्दिष्ट करें जिसे हमें संस्करण की आवश्यकता है। DVC एक्सटेंशन .dvc के साथ iris.csv मेटाफ़ाइल का निर्माण करेगा, और कैश फ़ोल्डर में इसके बारे में जानकारी लिखेगा। आइए ये परिवर्तन करें ताकि संस्करण की शुरुआत की जानकारी Git के इतिहास में दिखाई दे।

 dvc add data/iris.csv 

उत्पन्न डीवीसी फ़ाइल के अंदर, इसका हैश मानक मापदंडों के साथ संग्रहीत किया जाता है।

Output - डीवीसी फ़ोल्डर में फ़ाइल का पथ, जिसे हमने डीवीसी के नियंत्रण में जोड़ा है। सिस्टम डेटा लेता है, इसे कैश में डालता है और वर्किंग डायरेक्टरी में कैश का लिंक बनाता है। इस फाइल को Git हिस्ट्री में जोड़ा जा सकता है और इस प्रकार वर्जन किया जा सकता है। डीवीसी डेटा का प्रबंधन खुद संभालता है। हैश के पहले दो अक्षर कैश के अंदर फ़ोल्डर के रूप में उपयोग किए जाते हैं, और शेष वर्णों का उपयोग फ़ाइल के नाम के रूप में किया जाता है।



एमएल पाइपलाइनों का स्वचालन

डेटा संस्करण नियंत्रण के अलावा, हम पाइपलाइन (पाइपलाइन) बना सकते हैं - गणना की श्रृंखलाएं जिनके बीच निर्भरता परिभाषित की गई है। यहां क्लासिफायर प्रशिक्षण और मूल्यांकन के लिए मानक पाइपलाइन है:



इनपुट में, हमारे पास डेटा है जो पहले से संसाधित होना चाहिए, ट्रेन और परीक्षण में विभाजित होना चाहिए, विशेषताओं की गणना करें और उसके बाद ही मॉडल को प्रशिक्षित करें और उसका मूल्यांकन करें। इस पाइपलाइन को अलग-अलग टुकड़ों में तोड़ा जा सकता है। उदाहरण के लिए, लोडिंग और प्रीप्रोसेसिंग डेटा, स्प्लिटिंग डेटा, मूल्यांकन, आदि के चरण को अलग करने और इन चेन को एक साथ जोड़ने के लिए।

ऐसा करने के लिए, डीवीसी में एक अद्भुत dvc run कमांड है, जिसमें हम कुछ मापदंडों को पास करते हैं और पायथन मॉड्यूल को निर्दिष्ट करते हैं जिसे हमें चलाने की आवश्यकता है।

अब - उदाहरण के लिए, संकेतों की गणना का लॉन्च चरण। आइए, पहले फीचरलाइज़ेशन मोड्यूल की सामग्री को देखें:

 import pandas as pd def get_features(dataset): features = dataset.copy() # uncomment for step 5.2 Add features # features['sepal_length_to_sepal_width'] = features['sepal_length'] / features['sepal_width'] # features['petal_length_to_petal_width'] = features['petal_length'] / features['petal_width'] return features if __name__ == '__main__': dataset = pd.read_csv('data/iris.csv') features = get_features(dataset) features.to_csv('data/iris_featurized.csv', index=False) 

यह कोड डेटासेट लेता है, विशेषताओं की गणना करता है और उन्हें iris_featurized.csv में सहेजता है। हमने अगले चरण के लिए अतिरिक्त संकेतों की गणना छोड़ दी।

एक पाइपलाइन बनाने के लिए, आपको गणना के प्रत्येक चरण के लिए कमांड चलाने की आवश्यकता है
dvc run ।



सबसे पहले, dvc run कमांड में, स्टेज_फिएचर_एक्सट्रेक्शन.डीएक्स मेटाफ़ाइल का नाम निर्दिष्ट करें, जिसमें डीवीसी गणना चरण के बारे में आवश्यक मेटाडेटा लिख ​​देगा। -D तर्क के माध्यम से, हम आवश्यक निर्भरताएँ निर्दिष्ट करते हैं: फ़ीचरकरण ओरोमो मॉड्यूल और iris.csv डेटा फ़ाइल। हम iris_featurized.csv फ़ाइल भी निर्दिष्ट करते हैं, जिसमें संकेत सहेजे जाते हैं, और अजगर src / featurization.py लॉन्च कमांड ही।

 dvc run -f stage_feature_extraction.dvc \ -d src/featurization.py \ -d data/iris.csv \ -o data/iris_featurized.csv \ python src/featurization.py 

DVC पायथन मॉड्यूल और iris.csv फ़ाइल में मेटाफ़ाइल और ट्रैक परिवर्तन करेगा।
यदि उनमें परिवर्तन होते हैं, तो डीवीसी पाइपलाइन में इस गणना कदम को पुनः आरंभ करेगा।

परिणामी स्टेज_फिएट_एक्सट्रैक्शन। पीवीसी फ़ाइल में उसका हैश, स्टार्ट कमांड, निर्भरता और आउटपुट (उनके लिए अतिरिक्त पैरामीटर हैं जो मेटाडेटा में पाए जा सकते हैं)।

अब आपको इस फाइल को Git commits के इतिहास में सहेजने की आवश्यकता है। इस प्रकार, हम एक नई शाखा बना सकते हैं और इसे गिट रिपॉजिटरी में धकेल सकते हैं। आप व्यक्तिगत रूप से प्रत्येक चरण या एक ही बार में सभी चरणों का निर्माण करके एक Git कहानी के लिए प्रतिबद्ध हो सकते हैं।

जब हम अपने पूरे प्रयोग के लिए ऐसी श्रृंखला का निर्माण करते हैं, तो डीवीसी एक संगणना ग्राफ (डीएजी) का निर्माण करता है, जिसके द्वारा यह पूरी पाइपलाइन या कुछ भाग की पुनर्गणना शुरू कर सकता है। एक चरण से आउटपुट का हैश दूसरे के इनपुट पर जाता है। उनके अनुसार, डीवीसी निर्भरता को ट्रैक करता है और गणनाओं का एक ग्राफ बनाता है। यदि आपने विभाजन को कहीं विभाजित किया है तो विभाजित करें_डेटासेटेम, डीवीसी डेटा लोड नहीं करेगा और संभवतः संकेतों को पुनर्गणना करेगा, लेकिन इस चरण और बाद के प्रशिक्षण और मूल्यांकन चरणों को फिर से शुरू करेगा।



मेट्रिक्स ट्रैकिंग

dvc metrics show कमांड का उपयोग करके, आप वर्तमान लॉन्च के मैट्रिक्स को प्रदर्शित कर सकते हैं, जिस शाखा में हम स्थित हैं। और अगर हम -a विकल्प पास करते हैं, तो डीवीसी उन सभी मेट्रिक्स को दिखाएगा जो गिट इतिहास में हैं। DVC के लिए ट्रैकिंग मीट्रिक शुरू करने के लिए, मूल्यांकन चरण बनाते समय, हम डेटा / eval.txt के माध्यम से -m पैरामीटर पास करते हैं। इस फ़ाइल में, f1 और confusion metrics , इस फ़ाइल का मूल्यांकन करता है। इस चरण के डीवीसी फ़ाइल में आउटपुट फ़ोल्डर में, cache और metrics सही पर सेट होते हैं। यही है, डीवीसी मेट्रिक्स शो कमांड कंसोल के लिए eval.txt फ़ाइल की सामग्री को आउटपुट करेगा। साथ ही, इस कमांड के तर्कों का उपयोग करके, आप केवल f1_score या केवल confusion_matrix दिखा सकते हैं।



इस उदाहरण में, हमें ये परिणाम मिले:



पाइपलाइन पुनरुत्पत्ति

जिन लोगों ने इस डेटासेट के साथ काम किया है, वे जानते हैं कि इस पर एक अच्छा मॉडल बनाना बहुत मुश्किल है।

अब हमारे पास डीवीसी का उपयोग करके एक पाइपलाइन बनाई गई है। सिस्टम डेटा और मॉडल के इतिहास को ट्रैक करता है, पूरे या आंशिक रूप से खुद को पुनरारंभ कर सकता है, और मैट्रिक्स प्रदर्शित कर सकता है। हमने सभी आवश्यक स्वचालन को पूरा कर लिया है।

हमारे पास f1 = 0.78 वाला मॉडल था। हम कुछ मापदंडों को बदलकर इसे सुधारना चाहते हैं। ऐसा करने के लिए, एक ही कमांड के साथ, आदर्श रूप से, पूरी पाइपलाइन को पुनरारंभ करें। इसके अलावा, यदि आप किसी टीम में काम कर रहे हैं, तो आप मॉडल और सहकर्मियों को कोड देना चाहते हैं ताकि वे उन पर काम करना जारी रख सकें।

dvc repro पाइपलाइन या व्यक्तिगत चरणों को फिर से शुरू करने की अनुमति देता है (इस मामले में, आपको कमांड के बाद पुन: प्रस्तुत किए गए चरण को निर्दिष्ट करने की आवश्यकता है)।

dvc repro stage_evaluate , मंच पूरी पाइपलाइन को पुनः आरंभ करने का प्रयास करेगा। लेकिन अगर हम वर्तमान स्थिति में ऐसा करते हैं, तो डीवीसी कोई बदलाव नहीं देखेगा और पुनः आरंभ नहीं करेगा। और अगर हम कुछ बदलते हैं, तो वह परिवर्तन खोजेगा और उस क्षण से पाइपलाइन को फिर से शुरू करेगा।

 $ dvc repro stage_evaluate.dvc Stage 'data/iris.csv.dvc' didn't change. Stage 'stage_feature_extraction.dvc' didn't change. Stage 'stage_split_dataset.dvc' didn't change. Stage 'stage_train.dvc' didn't change. Stage 'stage_evaluate.dvc' didn't change. Pipeline is up to date. Nothing to reproduce. 

इस मामले में, DVC ने स्टेज की निर्भरता के चरण_के मूल्यांकन में कोई बदलाव नहीं देखा और पुनः आरंभ करने से इनकार कर दिया। और अगर हम -f विकल्प निर्दिष्ट करते हैं, तो यह सभी प्रारंभिक चरणों को फिर से शुरू करेगा और एक चेतावनी दिखाएगा कि यह उस डेटा के पिछले संस्करणों को हटा देता है जिससे वह ट्रैकिंग कर रहा था। हर बार जब डीवीसी चरण को फिर से शुरू करता है, तो यह पिछले कैश को हटा देता है, वास्तव में इसे ओवरराइट कर देता है ताकि डेटा की नकल न हो। फिलहाल DVC फ़ाइल लॉन्च की गई है, इसके हैश की जाँच की जाएगी, और यदि यह बदल गया है, तो पाइपलाइन फिर से शुरू हो जाएगी और इस पाइपलाइन के सभी आउटपुट को अधिलेखित कर देगी। यदि आप इससे बचना चाहते हैं, तो आपको पहले कुछ दूरस्थ रिपॉजिटरी में डेटा का एक विशिष्ट संस्करण चलाना होगा।

पाइपलाइनों को फिर से शुरू करने और प्रत्येक चरण की निर्भरता को ट्रैक करने की क्षमता आपको तेजी से मॉडल के साथ प्रयोग करने की अनुमति देती है।

उदाहरण के लिए, आप विशेषताओं को बदल सकते हैं ( featurization.py को बदलने के लिए लाइनों को ' featurization.py ' कर सकते हैं) डीवीसी इन परिवर्तनों को देखेगा और पूरी पाइपलाइन को फिर से शुरू करेगा।

दूरस्थ रिपॉजिटरी में डेटा सहेजना


डीवीसी न केवल स्थानीय संस्करण भंडारण के साथ काम कर सकता है। यदि आप dvc push कमांड को निष्पादित करते हैं, तो डीवीसी मॉडल और डेटा के वर्तमान संस्करण को पूर्व-कॉन्फ़िगर रिमोट रिपॉजिटरी रिपॉजिटरी में भेज देगा। यदि तब आपका सहकर्मी आपकी रिपॉजिटरी और dvc pull git clone बनाता है, तो उसे इस शाखा के लिए इच्छित डेटा और मॉडल का संस्करण मिलेगा। मुख्य बात यह है कि सभी के पास इस भंडार तक पहुंच है।



इस मामले में, हम अस्थायी / डीवीसी फ़ोल्डर में "रिमोट" स्टोरेज का अनुकरण करते हैं। लगभग उसी तरह, क्लाउड में रिमोट स्टोरेज बनाया जाता है। इस बदलाव को कमिट करें ताकि यह Git कहानी में बना रहे। अब हम इस स्टोरेज में डेटा भेजने के लिए dvc push कर सकते हैं, और आपका सहकर्मी इसे पाने के लिए सिर्फ dvc pull करता है।

इसलिए , हमने तीन स्थितियों की जांच की जिसमें डीवीसी और बुनियादी कार्यक्षमता उपयोगी है:

• संस्करण डेटा और मॉडल । यदि आपको पाइपलाइन और दूरस्थ रिपॉजिटरी की आवश्यकता नहीं है, तो आप स्थानीय मशीन पर काम करते हुए, एक विशेष परियोजना के लिए डेटा को संस्करणित कर सकते हैं। DVC आपको दसियों गीगाबाइट में डेटा के साथ जल्दी काम करने की अनुमति देता है।
• टीमों के बीच डेटा और मॉडल का आदान-प्रदान । आप डेटा को संग्रहीत करने के लिए क्लाउड समाधान का उपयोग कर सकते हैं। यह एक सुविधाजनक विकल्प है यदि आपके पास एक वितरित टीम है या मेल द्वारा भेजी गई फ़ाइलों के आकार पर प्रतिबंध हैं। साथ ही, इस तकनीक का उपयोग उन स्थितियों में किया जा सकता है जब आप एक दूसरे को नोटबुक भेजते हैं, लेकिन वे शुरू नहीं होते हैं।
• टीम का संगठन एक बड़े सर्वर के अंदर काम करता है । टीम बड़े डेटा के स्थानीय संस्करण के साथ काम कर सकती है, उदाहरण के लिए, कई दसियों या सैकड़ों गीगाबाइट, ताकि आप उन्हें आगे और पीछे कॉपी न करें, लेकिन एक रिमोट स्टोरेज का उपयोग करें जो केवल मॉडल या डेटा के महत्वपूर्ण संस्करणों को भेजेगा और बचाएगा।

भाग २

अपनी परियोजनाओं में डीवीसी कैसे लागू करें?

परियोजना की प्रतिलिपि प्रस्तुत करने की क्षमता सुनिश्चित करने के लिए, कुछ आवश्यकताओं का पालन किया जाना चाहिए।
यहाँ मुख्य हैं:

• सभी पाइपलाइन स्वचालित हैं;
• गणना के प्रत्येक चरण के लॉन्च मापदंडों का नियंत्रण;
• कोड, डेटा और मॉडल का संस्करण नियंत्रण;
• पर्यावरण नियंत्रण;
• प्रलेखन।

यदि यह सब किया जाता है, तो परियोजना के प्रतिलिपि प्रस्तुत करने योग्य होने की अधिक संभावना है। डीवीसी आपको इस सूची में पहले 3 आवश्यकताओं को पूरा करने की अनुमति देता है।

जब आपकी कंपनी में DVC को लागू करने का प्रयास किया जाता है, तो आप अनिच्छा का सामना कर सकते हैं: “हमें इसकी आवश्यकता क्यों है? हमारे पास जुपिटर नोटबुक है। ” शायद आपके कुछ सहयोगी केवल जुपिटर नोटबुक के साथ काम करते हैं, और उनके लिए आईडीई में इस तरह की पाइपलाइन और कोड लिखना बहुत कठिन है। इस मामले में, आप चरण-दर-चरण कार्यान्वयन के माध्यम से जा सकते हैं।

1. शुरू करने का सबसे आसान तरीका कोड और मॉडल का संस्करण है।
   और फिर पाइपलाइनों को स्वचालित करने के लिए आगे बढ़ें।
2. पहले उन चरणों को स्वचालित करें जो अक्सर पुनरारंभ होते हैं और बदलते हैं,
   और फिर पूरी पाइपलाइन।

यदि आपके पास एक नया प्रोजेक्ट है और एक टीम में कुछ उत्साही हैं, तो डीवीसी का उपयोग करना बेहतर है। इसलिए, उदाहरण के लिए, यह हमारी टीम में बदल गया! एक नई परियोजना शुरू करते समय, मेरे सहयोगियों ने मेरा समर्थन किया, और हमने अपने दम पर डीवीसी का उपयोग करना शुरू कर दिया। फिर वे अन्य सहयोगियों और टीमों के साथ साझा करने लगे। किसी ने हमारे उपक्रम को उठाया। आज, डीवीसी अभी तक हमारे बैंक में आमतौर पर स्वीकृत उपकरण नहीं है, लेकिन इसका उपयोग कई परियोजनाओं में किया जाता है।