Habraiting: Habra हेडर के उदाहरण पर रूसी बोलने वाले शब्दों के एक बादल का निर्माण

हाय, हैब्र।

हेब्रिटिंग के अंतिम भाग में, अंग्रेजी शब्दों के लिए क्लाउड शब्द बनाने की एक विधि प्रकाशित की गई थी। बेशक, रूसी शब्दों को पार्स करने का कार्य अधिक जटिल है, लेकिन जैसा कि टिप्पणियों में सुझाव दिया गया है, इसके लिए तैयार पुस्तकालय हैं।

आइए जानें कि ऐसी तस्वीर कैसे बनाई जाती है:



इसके अलावा, हम सभी वर्षों के लिए हैबर के लेखों का एक बादल देखेंगे।

बिल्ली के नीचे, कृपया क्या हुआ, कौन परवाह करता है।

पदच्छेद

प्रारंभिक डेटासेट, जैसा कि पिछले मामले में है, 2006 से 2019 तक हैबर के लेखों के शीर्षकों के साथ सीएसवी है। अगर किसी को इसे स्वयं आजमाने का शौक है, तो आप इसे यहाँ डाउनलोड कर सकते हैं ।

आरंभ करने के लिए, पंडों के डेटाफ्रेम में डेटा लोड करें और आवश्यक वर्ष के लिए हेडर चुनें।

df = pd.read_csv(log_path, sep=',', encoding='utf-8', error_bad_lines=True, quotechar='"', comment='#') if year != 0: dates = pd.to_datetime(df['datetime'], format='%Y-%m-%dT%H:%MZ') df['datetime'] = dates df = df[(df['datetime'] >= pd.Timestamp(datetime.date(year, 1, 1))) & ( df['datetime'] < pd.Timestamp(datetime.date(year + 1, 1, 1)))] # Remove some unicode symbols def unicode2str(s): try: return s.replace(u'\u2014', u'-').replace(u'\u2013', u'-').replace(u'\u2026', u'...').replace(u'\xab', u"'").replace(u'\xbb', u"'") except: return s titles = df["title"].map(unicode2str, na_action=None) 

Unicode2str फ़ंक्शन को कंसोल आउटपुट से विभिन्न पेचीदा यूनिकोड वर्णों को निकालने के लिए आवश्यक है, जैसे कि गैर-मानक उद्धरण - OSX के तहत, यह भी काम करता है, और जब विंडोज पॉवर्सशेल में आउटपुट किया जाता है, तो त्रुटि "यूनिकोड .ncodeError: 'चार्मैप' कोडेक वर्ण को सांकेतिक शब्दों में बदलना नहीं कर सकता है" जारी किया गया था। पॉवर्सशेल सेटिंग्स से निपटने के लिए यह बहुत आलसी था, इसलिए यह तरीका सबसे आसान था।

अगला कदम रूसी-भाषा के शब्दों को अन्य सभी से अलग करना है। यह काफी सरल है - हम पात्रों को एससीआई एन्कोडिंग में अनुवाद करते हैं, और देखते हैं कि क्या रहता है। यदि 2 से अधिक वर्ण बचे हैं, तो हम "पूर्ण" शब्द पर विचार करते हैं (केवल एक अपवाद जो मन में आता है वह है गो भाषा, हालांकि, जो लोग चाहते हैं वे इसे अपने दम पर जोड़ सकते हैं)।

 def to_ascii(s): try: s = s.replace("'", '').replace("-", '').replace("|", '') return s.decode('utf-8').encode("ascii", errors="ignore").decode() except: return '' def is_asciiword(s): ascii_word = to_ascii(s) return len(ascii_word) > 2 

अगला काम शब्द को सामान्य करना है - एक शब्द क्लाउड को प्राप्त करने के लिए, प्रत्येक शब्द को एक मामले और गिरावट में प्रदर्शित किया जाना चाहिए। अंग्रेजी के लिए, हम अंत में "एस" को हटा देते हैं, और अन्य अपठनीय वर्णों जैसे कोष्ठक को भी हटा देते हैं। मुझे यकीन नहीं है कि यह विधि वैज्ञानिक रूप से सही है (और मैं भाषाविद् नहीं हूं), लेकिन इस कार्य के लिए यह काफी पर्याप्त है।

 def normal_eng(s): for sym in ("'s", '{', '}', "'", '"', '}', ';', '.', ',', '[', ']', '(', ')', '-', '/', '\\'): s = s.replace(sym, ' ') return s.lower().strip() , '{', '}', " '",' " ','} ','; ''। ',,', ',' [ ','] ',' def normal_eng(s): for sym in ("'s", '{', '}', "'", '"', '}', ';', '.', ',', '[', ']', '(', ')', '-', '/', '\\'): s = s.replace(sym, ' ') return s.lower().strip() 

अब सबसे महत्वपूर्ण बात, जिसके लिए वास्तव में सब कुछ शुरू हो गया है, रूसी शब्दों की पार्सिंग है। जैसा कि पिछले भाग में टिप्पणियों में सलाह दी गई है, पायथन के लिए यह pymorphy2 लाइब्रेरी का उपयोग करके किया जा सकता है। आइए देखें कि यह कैसे काम करता है।

 import pymorphy2 morph = pymorphy2.MorphAnalyzer() res = morph.parse(u"") for r in res: print r.normal_form, r.tag.case 

इस उदाहरण के लिए, हमारे पास निम्नलिखित परिणाम हैं:

  NOUN,inan,masc sing,datv datv  NOUN,inan,masc sing,loc2 loc2  NOUN,inan,neut sing,datv datv  NOUN,inan,masc sing,gen2 gen2 

शब्द "दुनिया" के लिए, मॉर्फअनलाइज़र ने "सामान्य रूप" को संज्ञा "दुनिया" (या "दुनिया") के रूप में परिभाषित किया, हालांकि, मुझे नहीं पता कि यह क्या है), एकवचन, और संभव मामलों जैसे डेटिव, जेनिटिव या स्थानिक।

MorphAnalyzer पार्सिंग का उपयोग करना काफी सरल है - सुनिश्चित करें कि शब्द एक संज्ञा है, और इसके सामान्य रूप को प्राप्त करें।

 morph = pymorphy2.MorphAnalyzer() def normal_rus(w): res = morph.parse(w) for r in res: if 'NOUN' in r.tag: return r.normal_form return None 

यह सब कुछ एक साथ इकट्ठा करने और जो कुछ हुआ उसे देखने के लिए रहता है। कोड कुछ इस तरह दिखता है (हटाए गए अप्रासंगिक टुकड़े):

 from collections import Counter c_dict = Counter() for s in titles.values: for w in s.split(): if is_asciiword(w): # English word or digit n = normal_eng(w) c_dict[n] += 1 else: # Russian word n = normal_rus(w) if n is not None: c_dict[n] += 1 

आउटपुट में हमारे पास शब्दों का एक शब्दकोश और उनकी घटनाओं की संख्या है। हम पहले 100 प्राप्त करते हैं और उनसे शब्दों की लोकप्रियता का एक बादल बनते हैं:

 common = c_dict.most_common(100) wc = WordCloud(width=2600, height=2200, background_color="white", relative_scaling=1.0, collocations=False, min_font_size=10).generate_from_frequencies(dict(common)) plt.axis("off") plt.figure(figsize=(9, 6)) plt.imshow(wc, interpolation="bilinear") plt.title("%d" % year) plt.xticks([]) plt.yticks([]) plt.tight_layout() file_name = 'habr-words-%d.png' % year plt.show() 

परिणाम, हालांकि, बहुत अजीब निकला:



पाठ के रूप में, यह इस तरह दिखता था:

   3958  3619  1828  840 2018 496  389  375  375 

शब्द "प्रदर्शन", "दूसरा" और "सदी" एक बड़े अंतर से अग्रणी थे। और यद्यपि, सिद्धांत रूप में, यह संभव है (आप "प्रति सेकंड 1000 बार की गति से खोज पासवर्ड की तरह एक शीर्षक की कल्पना कर सकते हैं" एक सदी लग जाएगी), लेकिन यह संदेह था कि इनमें से बहुत सारे शब्द थे। और व्यर्थ में नहीं - जैसा कि डिबगिंग दिखाया गया है, मॉर्फनलायर ने "सी" शब्द को "दूसरा" और "सी" शब्द को "शताब्दी" के रूप में परिभाषित किया। यानी "टेक्नोलॉजी का उपयोग ..." शीर्षक में मॉर्फअनलीज़र ने 3 शब्दों पर प्रकाश डाला - "दूसरा", "सहायता", "तकनीक", जो स्पष्ट रूप से गलत है। अगले अस्पष्ट शब्द "जब" ("जब उपयोग कर रहे हैं ...") और "पहले से ही" थे, जिन्हें क्रमशः "प्रत्यक्ष" और "पहले से ही" संज्ञा के रूप में परिभाषित किया गया था। समाधान सरल था - जब पार्सिंग, केवल 2 अक्षरों से अधिक शब्दों पर विचार करें, और रूसी-भाषा के अपवाद वाले शब्दों की एक सूची दर्ज करें जिन्हें विश्लेषण से बाहर रखा जाएगा। फिर, शायद यह पूरी तरह से वैज्ञानिक नहीं है (उदाहरण के लिए, "पहले से ही एक रंग बदलने का अवलोकन" के बारे में एक लेख विश्लेषण से बाहर हो गया होगा), लेकिन इस कार्य के लिए पहले से ही :) पर्याप्त है।

अंतिम परिणाम कमोबेश सच्चाई के समान है (गो के अपवाद के साथ और सांपों के बारे में संभावित लेख)। यह सब एक जिफ़ ( पिछले पीढ़ी के कोड में पिछले भाग में है ) को बचाने के लिए बना हुआ है, और हमें 2006 से 2019 तक हैबर के शीर्षकों में कीवर्ड की लोकप्रियता के रूप में एक एनिमेटेड परिणाम मिलता है।

निष्कर्ष

जैसा कि आप देख सकते हैं, तैयार किए गए पुस्तकालयों की मदद से रूसी पाठ का विश्लेषण काफी सरल निकला। बेशक, कुछ आरक्षणों के साथ, बोली जाने वाली भाषा एक लचीली प्रणाली है जिसमें कई अपवाद हैं और संदर्भ के आधार पर संदर्भ की भावना की उपस्थिति है, और यहां 100% निश्चितता प्राप्त करना संभव नहीं है। लेकिन हाथ में काम के लिए, उपरोक्त कोड पर्याप्त है।

इस तरह से, पायथन में सिरिलिक ग्रंथों के साथ काम, बिल्कुल सही है - कंसोल के आउटपुट पात्रों के साथ छोटी समस्याएं, प्रिंट द्वारा सरणियों के टूटे हुए आउटपुट, अजगर 2.7 के लिए लाइनों में यू "को जोड़ने की आवश्यकता, आदि। यह 21 वीं सदी में भी अजीब है, जब ऐसा लगता है कि KOI8-R या CP-1252 जैसे सभी नास्तिकों की मृत्यु हो गई है, एन्कोडिंग तारों की समस्याएं अभी भी प्रासंगिक हैं।

अंत में, यह ध्यान रखना दिलचस्प है कि पाठ के क्लाउड में रूसी शब्दों को जोड़ने से व्यावहारिक रूप से अंग्रेजी संस्करण की तुलना में तस्वीर की जानकारी सामग्री में वृद्धि नहीं हुई - लगभग सभी आईटी शब्द अंग्रेजी बोलने वाले हैं, इसलिए 10 वर्षों में रूसी शब्दों की सूची काफी कम बदल गई है। संभवतः, रूसी भाषा में परिवर्तनों को देखने के लिए, आपको 50-100 वर्षों तक प्रतीक्षा करने की आवश्यकता है - निर्दिष्ट समय के बाद लेख को फिर से अपडेट करने का अवसर होगा;)