🚐 🌈 👂🏿 2018 के लिए सबसे अच्छी सामग्री: Habraiting 2018 🕉️ 👩‍💻 👊🏻

हाय हमर।

यह पद हैब्रे (इस मुद्दे के तकनीकी पक्ष में रुचि रखने वालों के लिए पहला और दूसरा भाग) पर एक लेख के जीवन चक्र के बारे में प्रकाशनों का तार्किक निष्कर्ष है, जिसके परिणामस्वरूप सांख्यिकीय विश्लेषण के लिए एक दिलचस्प उपकरण बनाया गया था। कार्यप्रणाली बहुत उपयोगी हो गई, और आपको विभिन्न मापदंडों द्वारा लेख खोजने की अनुमति देता है, उदाहरण के लिए, उच्चतम "गुणवत्ता" (विचारों की संख्या के अनुपात का अनुपात) वाले लेख, सबसे ध्रुवीय टिप्पणियों के साथ सबसे "विवादास्पद" लेख, सबसे अधिक टिप्पणी करने वाली सामग्री आदि।

अब इससे कुछ लाभ प्राप्त करने और 2018 के लिए लेखों की एक सांख्यिकीय रेटिंग संकलित करने का समय है। आदर्श रूप से, यह नए साल की शुरुआत तक करना अच्छा होगा, लेकिन स्मार्ट विचार होते हैं, देर से आते हैं। लेकिन देर से बेहतर कभी नहीं, यह आपको उन लोगों के लिए कुछ उपयोगी लेखों को फिर से पढ़ने की अनुमति देगा जो उन्हें एक समय में याद नहीं करते थे। और उन लोगों के लिए पाठ के अंत में एक छोटा "गुप्त बोनस" जो पर्याप्त उत्सुक होंगे।

जो कुछ भी हुआ, बिल्ली के नीचे, कृपया में रुचि रखते हैं।

डेटा संग्रह

जो लोग तुरंत परिणाम देखना चाहते हैं वे इस भाग को छोड़ सकते हैं।

पिछले भाग की तरह , हम लेख के बारे में जानकारी एकत्र करने के लिए पायथन और ब्यूटीफुल लाइब्रेरी का उपयोग करेंगे। इसकी मदद से, हम प्रकाशन के समय और लेख के शीर्षक के बारे में जानकारी प्राप्त करेंगे। अन्य सभी डेटा हमें पहले से ही प्राप्त हो चुके हैं, जो लोग पिछले भाग का उल्लेख कर सकते हैं।

परिणामस्वरूप, हमें यह फ़ंक्शन मिला:

def get_article_data(page_link): data_html = get_as_str(page_link) soup = BeautifulSoup(data_html, 'html.parser') str_log = "" # Get datetime t = soup.find("span", {"class": "post__time"}) if t is None: return str_log += t['data-time_published'] + ',' # Get title and link url = soup.find("meta", property="og:url") url_str = url["content"] if url else "-" title = soup.find("meta", property="og:title") title_str = title["content"] if title else "-" str_log += '{},"{}",'.format(url_str, title_str.encode('utf8')) # Extract other parameters (rating, etc) str_log += extract_as_csv(data_html) print(str_log) return str_log

फ़ंक्शन का परिणाम '2007-06-12T12: 58Z, https: //habr.com/en/post/35001/', "आप साहित्यिक चोरी के बारे में कैसा महसूस करते हैं?" , बुकमार्क्स: 0, दृश्य: 161, टिप्पणियाँ: 1 ', जो एक सीएसवी फ़ाइल को सहेजना आसान है।

इसके अलावा, जैसा कि वे कहते हैं, प्रौद्योगिकी का मामला है। सौभाग्य से हमारे लिए, हैबे के सभी लेखों की एंड-टू-एंड नंबरिंग है, इसलिए टाइप करके वांछित तिथि सीमा को खोजना मुश्किल नहीं था (वैसे, जो लोग "डिजिटल पुरातत्व" करना चाहते हैं वे लेख https://habr.com/en/post/1 के साथ पढ़ सकते हैं। / और https://habr.com/ru/post/2/ , 2006 में पहले से ही प्रकाशित)। फिर यह केवल हमारे पार्सर को लूप में शुरू करने और रात भर छोड़ने के लिए बना रहा (सर्वर लोड नहीं करने के लिए, अनुरोधों के बीच एक ठहराव जोड़ा गया था, इसलिए यह प्रक्रिया बहुत तेज नहीं थी)।

कॉर्पोरेट ब्लॉग्स के बारे में संदेह था, लेकिन जैसा कि यह निकला, उनके पास एक ही नंबरिंग है, बस जब आप लिंक खोलते हैं, तो एक रीडायरेक्ट होता है। ताकि सभी डेटा पूरी तरह से डाउनलोड हो जाएं, कुछ भी खो नहीं गया था।

पूरे नमूने के लिए, हम अलग-अलग अनुरोध करेंगे, और देखेंगे कि क्या हुआ। दूसरे भाग में प्रौद्योगिकी और स्रोत कोड का वर्णन किया गया था , जो लोग तकनीक का अधिक विस्तार से अध्ययन कर सकते हैं।

परिणाम

बोनस

निष्कर्ष

कोई निष्कर्ष नहीं होगा :) हर किसी को पढ़ने में आनंद मिलता है, मुझे उम्मीद है कि सामग्री काफी पर्याप्त है।

यदि सांख्यिकीय प्रश्नों के लिए कोई अन्य विचार हैं, तो टिप्पणियों में लिखें। साथ ही, यदि पाठकों की इच्छा है, तो प्रत्येक महीने के अंत में 4 सप्ताह के लिए एक समान रेटिंग प्रकाशित की जा सकती है। 2017 के लिए

इसी तरह की रेटिंग भी उपलब्ध है ।

2018 के लिए सबसे अच्छी सामग्री: Habraiting 2018

डेटा संग्रह

परिणाम

बोनस

निष्कर्ष

More articles: