दिल

यह पता चला है कि इसके लिए यह सिर्फ इस तरह के आदेशों को चलाने के लिए पर्याप्त है:

git clone https://github.com/attardi/wikiextractor.git cd wikiextractor wget http://dumps.wikimedia.org/ruwiki/latest/ruwiki-latest-pages-articles.xml.bz2 python3 WikiExtractor.py -o ../data/wiki/ --no-templates --processes 8 ../data/ruwiki-latest-pages-articles.xml.bz2 

और फिर बाद के प्रसंस्करण के लिए एक स्क्रिप्ट के साथ थोड़ा पॉलिश करें

 python3 process_wikipedia.py 

परिणाम आपके शरीर के साथ एक .csv फ़ाइल समाप्त हो गई है।

यह स्पष्ट है कि:

• http://dumps.wikimedia.org/ruwiki/latest/ruwiki-latest-pages-articles.xml.bz2 आपको जिस भाषा की ज़रूरत है, उसे यहाँ और अधिक विवरणों में बदला जा सकता है [4] ;
• wikiextractor मापदंडों के बारे में सभी जानकारी मैनुअल में मिल सकती है (ऐसा लगता है कि आधिकारिक डॉक को भी अपडेट नहीं किया गया है, माने के विपरीत);

एक पोस्ट-प्रोसेसिंग स्क्रिप्ट विकी फ़ाइलों को इस तरह तालिका में परिवर्तित करती है:

article_uuid - एक छद्म-अद्वितीय कुंजी, इस तरह के पूर्व-प्रसंस्करण के बाद विचार क्रम को संरक्षित किया जाना चाहिए।

क्यों

शायद, इस समय, एमएल टूल्स का विकास इस स्तर पर पहुंच गया है [8] कि शाब्दिक रूप से एक दो दिन काम करने वाले एनएलपी मॉडल / पाइपलाइन बनाने के लिए पर्याप्त है। समस्या केवल विश्वसनीय डेटासेट / रेडी एम्बेडिंग / तैयार भाषा मॉडल के अभाव में उत्पन्न होती है। इस लेख का उद्देश्य यह दिखा कर आपके दर्द को थोड़ा कम करना है कि पूरे विकिपीडिया को संसाधित करने के लिए कुछ घंटों में पर्याप्त है (सिद्धांत में एनएलपी में शब्द एम्बेडिंग के प्रशिक्षण के लिए सबसे लोकप्रिय कॉर्पस)। आखिरकार, अगर कुछ दिन एक साधारण मॉडल बनाने के लिए पर्याप्त है, तो इस मॉडल के लिए डेटा प्राप्त करने में अधिक समय क्यों खर्च करें?

लिपि का सिद्धांत

wikiExtractor विकी लेखों को <doc> ब्लॉकों द्वारा अलग किए गए पाठ के रूप में सहेजता है। दरअसल, स्क्रिप्ट निम्नलिखित तर्क पर आधारित है:

• आउटपुट में सभी फाइलों की एक सूची लें;
• हम फाइलों को लेखों में विभाजित करते हैं;
• शेष सभी HTML टैग और विशेष वर्ण हटा दें;
• nltk.sent_tokenize का उपयोग nltk.sent_tokenize वाक्यों में विभाजित करते हैं;
• ताकि कोड विशाल आकार तक न बढ़े और पठनीय बना रहे, प्रत्येक लेख को अपना स्वयं का uuid सौंपा गया है;

टेक्स्ट प्रीप्रोसेसिंग के रूप में, यह सरल है (आप इसे आसानी से अपने लिए काट सकते हैं):

• गैर-अक्षर वर्ण हटाएं;
• स्टॉप शब्द हटाएं;

डेटासैट है, अब क्या?

मुख्य अनुप्रयोग

सबसे अधिक, अभ्यास में, एनएलपी में आपको एम्बेडिंग के निर्माण के कार्य से निपटना होगा।

इसे हल करने के लिए, आमतौर पर निम्नलिखित में से एक उपकरण का उपयोग करें:

• तैयार वैक्टर / शब्दों के एम्बेडिंग [6];
• सीएनएन के आंतरिक राज्यों ने फर्जी वाक्यों / भाषा मॉडलिंग / वर्गीकरण को परिभाषित करने जैसे कार्यों पर प्रशिक्षण दिया [7];
• उपरोक्त विधियों का एक संयोजन;

इसके अलावा, यह कई बार दिखाया गया है [9] कि वाक्यों के लिए एक अच्छी आधार रेखा के रूप में, कोई भी बस औसतन (मामूली विवरणों के एक जोड़े के साथ, जिसे हम अब छोड़ देंगे) शब्द वैक्टर ले सकते हैं।

अन्य उपयोग के मामले

• हम विकी से यादृच्छिक वाक्यों का उपयोग ट्रिपल लॉस के लिए नकारात्मक उदाहरणों के रूप में करते हैं;
• हम नकली वाक्यांशों की परिभाषा का उपयोग करते हुए वाक्यों के लिए एनकोडर को प्रशिक्षित करते हैं [10];

रूसी विकी के लिए कुछ रेखांकन

रूसी विकिपीडिया के लिए वाक्यों की लंबाई वितरण

कोई लघुगणक (एक्स अक्ष पर, मान 20 तक सीमित हैं)

दशमलव लघुगणक में

संदर्भ

1. फास्ट-टेक्स्ट शब्द वैक्टर एक विकी पर प्रशिक्षित;
2. रूसी भाषा के लिए फास्ट-टेक्स्ट और वर्ड 2 वीईसी मॉडल ;
3. अजगर के लिए बहुत बढ़िया विकी चिमटा पुस्तकालय ;
4. विकी के लिंक के साथ आधिकारिक पेज ;
5. प्रसंस्करण के बाद की हमारी स्क्रिप्ट ;
6. शब्द एम्बेडिंग के बारे में मुख्य लेख: वर्ड 2 वीईसी , फास्ट-टेक्स्ट , ट्यूनिंग ;
7. कई वर्तमान SOTA दृष्टिकोण:
   
   1. अधम ;
   2. जेनेरिक प्री-ट्रेनिंग CNN;
   3. ULMFiT ;
   4. शब्दों के प्रतिनिधित्व के लिए प्रासंगिक दृष्टिकोण (एल्मो);
8. NLP में Imagenet पल?
9. प्रस्ताव 1 , 2 , 3 , 4 को एम्बेड करने के लिए आधारभूत;
10. प्रस्ताव एनकोडर के लिए नकली वाक्यांशों की परिभाषा;