GPU का उपयोग करके लैपटॉप पर डीपपावलोव न्यूरल नेटवर्क को कैसे प्रशिक्षित किया जाए

इस लेख में मैं इस ओपन-सोर्स लाइब्रेरी का उपयोग करने के लिए अपने अनुभव को साझा करना चाहता हूं, जिसमें एक कार्य के कार्यान्वयन के उदाहरण के साथ पीडीएफ / DOC / DOCX फ़ाइलों को शामिल किया गया है, जिसमें विशेषज्ञों का रिज्यूमे है।

यहां मैं डेटासेट तैयार करने के उपकरण को लागू करने के चरणों का भी वर्णन करूंगा। तब ग्रंथों से संस्थाओं को पहचानने के कार्य के रूप में प्राप्त डेटासेट पर BERT मॉडल को प्रशिक्षित करना संभव होगा ( नामांकित मान्यता - इसके बाद NER )।

तो, कहां से शुरू करें। स्वाभाविक रूप से, पहले आपको हमारे टूल को चलाने के लिए पर्यावरण को स्थापित और कॉन्फ़िगर करना होगा। मैं विंडोज 10 पर स्थापित करूंगा।

Habré पर इस लाइब्रेरी के डेवलपर्स के पहले से ही कई लेख हैं, जहां बस एक विस्तृत इंस्टॉलेशन गाइड है। और इस लेख में मैं लॉन्च से लेकर मॉडल प्रशिक्षण तक सब कुछ एक साथ रखना चाहूंगा। मैं इस लाइब्रेरी के साथ काम करते समय आई कुछ समस्याओं का समाधान भी बताऊंगा।

महत्वपूर्ण: स्थापित करते समय, सभी उत्पादों और घटकों के संस्करणों का अनुपालन करना महत्वपूर्ण है, क्योंकि अक्सर असंगत संस्करणों के साथ समस्याएं होती हैं। यह TensorFlow लाइब्रेरी का विशेष रूप से सच है। यह भी होता है कि कुछ कार्यों के लिए, GitHub पर आवश्यक प्रतिबद्ध तक , आपको इसका उपयोग करने की आवश्यकता है। दीपपावलोव के मामले में, केवल समर्थित संस्करण का अनुपालन पर्याप्त है।

मैं काम कर रहे कॉन्फ़िगरेशन के उत्पाद संस्करणों और मेरे लैपटॉप के विनिर्देशों को इंगित करूंगा, जिस पर मैंने तंत्रिका नेटवर्क को प्रशिक्षित करने की प्रक्रिया शुरू की थी। मैं कुछ लिंक प्रदान करूंगा जो ओपन-सोर्स दीपपावलोव लाइब्रेरी की स्थापना और कॉन्फ़िगरेशन का वर्णन करता है।

डीपपावलोव डेवलपर्स से उपयोगी लिंक

• डेवलपर्स के लिए डीपपावलोव: # 1 एनएलपी टूल और चैटबॉट बनाएं । लाइब्रेरी इंस्टॉलेशन प्रक्रिया को उदाहरण के रूप में ner_ontonotes_bert_mult मॉडल का उपयोग करके यहां वर्णित किया गया है , जिसका उपयोग बहुभाषी पाठ विश्लेषण के लिए किया जाता है।
• डेवलपर्स के लिए डीपपावलोव: # 2 सेटअप और तैनाती । यहां आप लाइब्रेरी स्थापित करने में मुख्य महत्वपूर्ण बिंदुओं के बारे में जानकारी पा सकते हैं।

स्थापना के लिए घटक संस्करण

• अजगर 3.6.6 - 3.7
• विजुअल स्टूडियो कम्युनिटी 2017 (वैकल्पिक)
• विजुअल C ++ बिल्ड टूल 14.0.25420.1
• एनवीडिया क्यूडा 10.0.130_411.31_win10
• cuDNN-10.0-windows10-64-v7.6.5.32

GPU समर्थन के लिए वातावरण सेट करना

1. अजगर के साथ शामिल पायथन या विज़ुअल स्टूडियो कम्युनिटी 2017 को स्थापित करें। मेरी स्थापना में, मैंने पायथन समर्थन के साथ विजुअल स्टूडियो कम्युनिटी को स्थापित करते हुए दूसरी विधि का उपयोग किया।
   
   बेशक, आपको मैन्युअल रूप से फ़ोल्डर में पथ जोड़ना होगा

   C:\Program Files (x86)\Microsoft Visual Studio\Shared\Python36_64 

   PATH सिस्टम वैरिएबल, जहां विजुअल स्टूडियो से अजगर स्थापित है, लेकिन यह मेरे लिए कोई समस्या नहीं है, मेरे लिए यह जानना महत्वपूर्ण है कि मैंने पायथन के लिए एक संस्करण स्थापित किया है।
   
   लेकिन यह मेरा मामला है, आप सब कुछ अलग से स्थापित कर सकते हैं।
2. अगला कदम विजुअल C ++ बिल्ड टूल्स को स्थापित करना है ।
3. अगला, एनवीडिया क्यूडा स्थापित करें।
   

   महत्वपूर्ण: यदि nVelia CUDA पुस्तकालय पहले स्थापित किया गया था, तो आपको वीडियो ड्राइवर तक nVedia से सभी पहले से स्थापित घटकों को हटाना होगा। और उसके बाद ही, वीडियो ड्राइवर की एक साफ स्थापना पर, nVelia CUDA की स्थापना करें।

4. अब nVedia CUDA के लिए cuDNN इंस्टॉल करें।
   ऐसा करने के लिए, आपको NVIDIA डेवलपर प्रोग्राम सदस्यता (यह मुफ़्त है) के लिए पंजीकरण करने की आवश्यकता है।
   
   
5. CUDA 10.0 के लिए cuDNN संस्करण डाउनलोड करें
   
   
   
6. संग्रह को किसी फ़ोल्डर में अनपैक करें
   
   

    C:\Users\<_>\Downloads\cuDNN 

7. फ़ोल्डर की संपूर्ण सामग्री की प्रतिलिपि बनाएँ .. \ cuDNN उस फ़ोल्डर में जहां हमने CUDA स्थापित किया है
   
   

    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0 

8. कंप्यूटर को रिबूट करें। वैकल्पिक, लेकिन मैं सलाह देता हूं।

डीपपावलोव स्थापित करें

1. वर्चुअल पायथन वातावरण बनाएं और सक्रिय करें।

   महत्वपूर्ण: मैंने विजुअल स्टूडियो के माध्यम से ऐसा किया।

2. ऐसा करने के लिए, मैंने मौजूदा मौजूदा पायथन कोड के लिए एक नई परियोजना बनाई।
   
   
3. हम अंतिम विंडो के आगे दबाते हैं, लेकिन समाप्त होने पर हम अभी तक क्लिक नहीं करते हैं। आपको " वर्चुअल वातावरण का पता लगाने " को अनचेक करना चाहिए
   
   
4. समाप्त पर क्लिक करें ।
5. अब आपको एक आभासी वातावरण बनाने की आवश्यकता है।
   
   
6. हम सब कुछ डिफ़ॉल्ट रूप से छोड़ देते हैं।
   
   
7. कमांड लाइन पर प्रोजेक्ट फ़ोल्डर खोलें। और कमांड निष्पादित करें:
   
   

    .\env\Scripts\activate.bat 

   
   
8. अब दीपपावलोव को स्थापित करने के लिए सब कुछ तैयार है। हम कमांड निष्पादित करते हैं:
   
   

    pip install deeppavlov 

9. अगला, आपको GPU समर्थन के साथ TensorFlow 1.14.0 स्थापित करने की आवश्यकता है। ऐसा करने के लिए, कमांड चलाएँ:
   
   

    pip install tensorflow-gpu==1.14.0 

10. लगभग सब कुछ तैयार है। आपको केवल यह सुनिश्चित करने की आवश्यकता है कि गणना के लिए TensorFlow ग्राफिक्स कार्ड का उपयोग करेगा। ऐसा करने के लिए, हम एक सरल स्क्रिप्ट devices.py , निम्न सामग्री लिखते हैं:
    
    

     from tensorflow.python.client import device_lib print(device_lib.list_local_devices()) 

    
    या tanorflow_test.py :
    
    

     import tensorflow as tf tf.test.is_built_with_cuda() tf.test.is_gpu_available(cuda_only=False, min_cuda_compute_capability=None) 

11. Devices.py चलाने के बाद, हमें निम्नलिखित कुछ देखना चाहिए:
    
    
12. अब आप दीपपावलोव को GPU समर्थन के साथ सीखने और उपयोग करने के लिए तैयार हैं।

दीपपावलोव रीस्ट एपीआई पर

REST API के लिए सेवा शुरू करने और स्थापित करने के लिए, आपको निम्नलिखित कमांड चलाने की आवश्यकता है:

1. सक्रिय वर्चुअल वातावरण में स्थापित करें
   
   

    python -m deeppavlov install ner_ontonotes_bert_mult 

2. DeepPavlov सर्वर से ner_ontonotes_bert_mult मॉडल डाउनलोड करें
   
   

    python -m deeppavlov download ner_ontonotes_bert_mult 

3. REST API चलाएं
   
   

    python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005 

यह मॉडल http: // localhost: 5005 पर उपलब्ध होगा। आप अपना पोर्ट निर्दिष्ट कर सकते हैं।

सभी मॉडलों को डिफ़ॉल्ट रूप से डाउनलोड किया जाएगा।

 C:\Users\<_>\.deeppavlov 

प्रशिक्षण के लिए दीपपावलोव की स्थापना

सीखने की प्रक्रिया शुरू करने से पहले, हमें दीपपावलोव को कॉन्फ़िगर करने की आवश्यकता है ताकि सीखने की प्रक्रिया इस त्रुटि के साथ "क्रैश" न हो कि हमारे वीडियो कार्ड पर मेमोरी भरी हुई है। इसके लिए, हमारे पास प्रत्येक मॉडल के लिए कॉन्फ़िगरेशन फ़ाइलें हैं।

डेवलपर्स से उदाहरण के रूप में, मैं भी ner_ontonotes_bert_mult मॉडल का उपयोग करने जा रहा हूं। दीपपावलोव के सभी डिफ़ॉल्ट विन्यास पथ के साथ स्थित हैं:

 <_>\env\Lib\site-packages\deeppavlov\configs\ner 

मेरे मामले में, फ़ाइल को ner_ontonotes_bert_mult.json मॉडल की तरह नाम दिया जाएगा।

अपने लैपटॉप कॉन्फ़िगरेशन के लिए, मुझे ट्रेन ब्लॉक में बैच_साइज़ वैल्यू को 4 में बदलना पड़ा।



अन्यथा, कुछ मिनटों के बाद मेरा वीडियो कार्ड "चोक" हुआ, और सीखने की प्रक्रिया एक त्रुटि के साथ गिर गई।

नोबूक कॉन्फ़िगरेशन

• मॉडल: एमएसआई जीएस -65
• प्रोसेसर: कोर i7 8750H 2200 MHz
• इंस्टॉल की गई मेमोरी की मात्रा: 32 जीबी डीडीआर -4
• हार्ड ड्राइव: 512 जीबी एसएसडी
• वीडियो कार्ड: GeForce GTX 1070 8192 Mb

डेटासेट तैयारी उपकरण

मॉडल को प्रशिक्षित करने के लिए, आपको एक डेटासेट तैयार करना होगा। डेटासेट में तीन फाइलें होती हैं। train.txt , valid.txt , test.txt । निम्न प्रतिशत ट्रेन में डेटा के टूटने के साथ - 80%, वैध और 10% के लिए परीक्षण।

BERT मॉडल के लिए डेटासेट निम्नानुसार है:

 Ivan B-PERSON Ivanov I-PERSON Senior B-WORK_OF_ART Java I-WORK_OF_ART Developer I-WORK_OF_ART IT B-ORG - I-ORG Company I-ORG Key O duties O : 0 Java B-WORK_OF_ART Python B-WORK_OF_ART CSS B-WORK_OF_ART JavaScript B-WORK_OF_ART Russian B-LOC Federation I-LOC . O Petr B-PERSON Petrov I-PERSON Junior B-WORK_OF_ART Web I-WORK_OF_ART Developer I-WORK_OF_ART Boogle B-ORG IO ' O ve O developed O Web B-WORK_OF_ART - O Application O . Skills O : O ReactJS B-WORK_OF_ART Vue B-WORK_OF_ART - I-WORK_OF_ART JS I-WORK_OF_ART HTML B-WORK_OF_ART CSS B-WORK_OF_ART Russian B-LOC Federation I-LOC . O ... 

डेटासेट का प्रारूप इस प्रकार है:

 <_><><_> 

महत्वपूर्ण: वाक्य के अंत के बाद, एक लाइन ब्रेक होना चाहिए। यदि ऑफ़र में 75 से अधिक टोकन हैं, तो लाइन ब्रेक लगाना भी आवश्यक है, अन्यथा जब मॉडल सीखना प्रक्रिया विफल हो जाएगी।

डेटासेट तैयार करने के लिए, मैंने एक वेब इंटरफ़ेस लिखा, जहां एक सर्वर पर DOC / PDF / DOCX फ़ाइलों को अपलोड करना संभव है, इसे सादे पाठ में पार्स करें, और फिर एक मध्यवर्ती डेटाबेस में परिणाम को बचाते हुए REST API एक्सेस के साथ एक सक्रिय मॉडल के माध्यम से इस पाठ को पास करें। इसके लिए मैं MongoDB का उपयोग करता हूं।

उपरोक्त क्रियाएं पूरी होने के बाद, आप हमारी आवश्यकताओं के लिए डेटासेट के गठन के लिए आगे बढ़ सकते हैं।

ऐसा करने के लिए, मैंने अपने लिखित वेब इंटरफ़ेस में एक अलग पैनल बनाया, जहां डेटासेट टोकन द्वारा खोज करना संभव है और फिर टोकन और टोकन पाठ के प्रकार को ही बदल दें।

टूल यह भी जानता है कि शब्दों की सूची के आधार पर स्वचालित रूप से कैसे, अनुरोध पर उपयोगकर्ता द्वारा निर्दिष्ट टोकन के प्रकार को अपडेट करें।

सामान्य तौर पर, उपकरण काम का हिस्सा स्वचालित करने में मदद करता है, लेकिन फिर भी आपको बहुत सारे मैनुअल काम करने होंगे।

परिणाम की जांच करने और डेटासेट को तीन फ़ाइलों में विभाजित करने के लिए एक इंटरफ़ेस भी लागू किया गया है।

दीपपावलोव प्रशिक्षण

तो हम सबसे दिलचस्प भाग के लिए मिला। सीखने की प्रक्रिया के लिए, आपको पहले ner_ontonotes_bert_mult मॉडल डाउनलोड करने की आवश्यकता है, यदि आपने पहले से ऐसा नहीं किया है, तो आपको दीपपावलोव अनुभाग से पहले दो चरणों को पूरा करना होगा।

सीखने की प्रक्रिया शुरू करने से पहले, आपको दो चरण पूरे करने होंगे:

1. प्रशिक्षित मॉडल के साथ पूरी तरह से फ़ोल्डर हटाएं:
   
   

    C:\Users\<_>\.deeppavlov\models\ner_ontonotes_bert_mult 

   
   चूंकि यह मॉडल एक अलग डेटासेट पर प्रशिक्षित किया गया था।
2. कॉपी की गई डेटासेट फ़ाइलों को कॉपी करें। फ़ोल्डर में train.txt, valid.txt, test.txt
   
   

    C:\Users\<_>\.deeppavlov\downloads\ontonotes 

अब आप सीखने की प्रक्रिया शुरू कर सकते हैं।

प्रशिक्षण शुरू करने के लिए, आप निम्न फॉर्म की एक सरल ट्रेन- स्क्रिप्ट लिख सकते हैं:

 from deeppavlov import configs, train_model ner_model = train_model(configs.ner.ner_ontonotes_bert_mult, download=False) 

या कमांड लाइन का उपयोग करें:

 python -m deeppavlov train <_>\env\Lib\site-packages\deeppavlov\configs\ner\ner_ontonotes_bert_mult.json 

परिणाम

मैंने 115,540 टोकन के आकार के साथ एक डेटासेट पर एक मॉडल को प्रशिक्षित किया। यह डेटासेट 100 कर्मचारी पुनरारंभ फ़ाइलों से उत्पन्न हुआ था। सीखने की प्रक्रिया ने मुझे 5 घंटे 18 मिनट का समय दिया।

मॉडल के निम्नलिखित अर्थ थे:

• परिशुद्धता: 76.32%;
• याद रखें: 72.32%;
• एफबी 1: 74.27;
• नुकसान: 5.4907482981681826;

डेटासेट के ऑटो-जनरेशन में कई समस्याओं के संपादन के बाद, मुझे नीचे एक नुकसान हुआ। लेकिन सामान्य तौर पर, मैं परिणाम से प्रसन्न था। बेशक, इस पुस्तकालय का उपयोग करने के बारे में मेरे पास अभी भी कई सवाल हैं, और मैंने यहाँ जो वर्णन किया है वह सिर्फ बाल्टी में एक बूंद है।

मुझे वास्तव में अपनी सादगी और उपयोग में आसानी के लिए पुस्तकालय पसंद आया। कम से कम एनईआर कार्य के लिए। मुझे इस पुस्तकालय की अन्य विशेषताओं पर चर्चा करते हुए बहुत खुशी होगी और मुझे उम्मीद है कि किसी को इस लेख से उपयोगी सामग्री मिलेगी।