हैबे पर एक लेख का जीवन चक्र: हम लिखते हैं

हाय हमर!

साइट के कई नियमित पाठकों और लेखकों ने शायद यहां प्रकाशित लेखों के जीवन चक्र के बारे में सोचा। और यद्यपि सहज रूप से यह अधिक या कम स्पष्ट है (यह स्पष्ट है, उदाहरण के लिए, कि पहले पृष्ठ पर लेख में अधिकतम दृश्य हैं), लेकिन विशेष रूप से कितना?



आंकड़े एकत्र करने के लिए, हम पायथन, पंडों, माटप्लोटलिब और रास्पबेरी पाई का उपयोग करेंगे।

जो लोग इसके बारे में रुचि रखते हैं, वे बिल्ली के नीचे कृपया।

डेटा संग्रह

सबसे पहले, मैट्रिक्स पर निर्णय लेते हैं - हम जो जानना चाहते हैं। यहां सब कुछ सरल है, प्रत्येक लेख में पृष्ठ पर प्रदर्शित 4 मुख्य पैरामीटर हैं - यह विचारों, पसंद, बुकमार्क और टिप्पणियों की संख्या है। हम उनका विश्लेषण करेंगे।

जो लोग तुरंत परिणाम देखना चाहते हैं, वे तीसरे भाग में जा सकते हैं, लेकिन अब यह प्रोग्रामिंग के बारे में होगा।

सामान्य योजना: हम वेब पेज से आवश्यक डेटा को पार्स करेंगे, इसे सीएसवी के साथ सहेजें, और देखें कि हमें कई दिनों तक क्या मिलता है। सबसे पहले, लेख का पाठ लोड करें (अपवाद को स्पष्टता के लिए छोड़ दिया गया):

link = "https://habr.com/ru/post/000001/" f = urllib.urlopen(link) data_str = f.read() 

अब हमें data_str लाइन (HTML में, निश्चित रूप से) से डेटा निकालने की आवश्यकता है। ब्राउज़र में स्रोत कोड खोलें (हटाए गए अप्रकाशित तत्व):

 <ul class="post-stats post-stats_post js-user_" id="infopanel_post_438514"> <li class="post-stats__item post-stats__item_voting-wjt"> <span class="voting-wjt__counter voting-wjt__counter_positive js-score" title="  448: ↑434  ↓14">+420</span> </li> <span class="btn_inner"><svg class="icon-svg_bookmark" width="10" height="16"><use xlink:href="https://habr.com/images/1550155671/common-svg-sprite.svg#book" /></svg><span class="bookmark__counter js-favs_count" title=" ,    ">320</span></span> <li class="post-stats__item post-stats__item_views"> <div class="post-stats__views" title=" "> <span class="post-stats__views-count">219k</span> </div> </li> <li class="post-stats__item post-stats__item_comments"> <a href="https://habr.com/ru/post/438514/#comments" class="post-stats__comments-link" <span class="post-stats__comments-count" title=" ">577</span> </a> </li> <li class="post-stats__item"> <span class="icon-svg_report"><svg class="icon-svg" width="32" height="32" viewBox="0 0 32 32" aria-hidden="true" version="1.1" role="img"><path d="M0 0h32v32h-32v-32zm14 6v12h4v-12h-4zm0 16v4h4v-4h-4z"/></svg> </span> </li> </ul> 

यह देखना आसान है कि हमें जिस पाठ की आवश्यकता है वह ब्लॉक '<ul class = "के बाद का है, पोस्ट-स्टैटिस्टिक्स पोस्ट-स्टैटिस्टिक्स_पोस्ट js-user_>' और आवश्यक तत्व ब्लॉक में हैं जिनके नाम वोटिंग- wtt__counter, bookmark__counter, पोस्ट-स्टैटिस्टिक्स-इंटरव्यू-काउंट और पोस्ट- पोस्ट stats__comments गिनती। नाम से, सब कुछ काफी स्पष्ट है।

हम स्ट्रॉग क्लास को इनहेरिट करेंगे और इसमें दो टैग्स के बीच स्थित सबस्ट्रिंग को निकालने की विधि जोड़ेंगे:

 class Str(str): def find_between(self, first, last): try: start = self.index(first) + len(first) end = self.index(last, start) return Str(self[start:end]) except ValueError: return Str("") 

आप विरासत के बिना कर सकते हैं, लेकिन यह आपको अधिक संक्षिप्त कोड लिखने की अनुमति देगा। इसके साथ, सभी डेटा निष्कर्षण 4 लाइनों में फिट होते हैं:

 votes = data_str.find_between('span class="voting-wjt__counter voting-wjt__counter_positive js-score"', 'span').find_between('>', '<') bookmarks = data_str.find_between('span class="bookmark__counter js-favs_count"', 'span').find_between('>', '<') views = data_str.find_between('span class="post-stats__views-count"', 'span').find_between('>', '<') comments = data_str.find_between('span class="post-stats__comments-count"', 'span').find_between('>', '<') 

लेकिन यह सब नहीं है। जैसा कि आप देख सकते हैं, टिप्पणियों या विचारों की संख्या को "12.1k" की तरह एक स्ट्रिंग के रूप में संग्रहीत किया जा सकता है, जिसे सीधे इंट में अनुवाद नहीं किया जाता है।

एक स्ट्रिंग को एक संख्या में बदलने के लिए एक फ़ंक्शन जोड़ें:

 def to_int(self): s = self.lower().replace(",", ".") if s[-1:] == "k": # "1.23k" => 1.23*1000 => 1230 return int(1000*float(s.replace("k", ""))) return int(self) 

यह केवल टाइमस्टैम्प जोड़ने के लिए रहता है, और आप डेटा को सीएसवी में सहेज सकते हैं:

 timestamp = strftime("%Y-%m-%dT%H:%M:%S.000", gmtime()) str_out = "{},votes:{},bookmarks:{},views:{},comments:{};".format(timestamp, votes.to_int(), bookmarks.to_int(), views.to_int(), comments.to_int()) 

चूंकि हम कई लेखों का विश्लेषण करने में रुचि रखते हैं, हम कमांड लाइन के माध्यम से एक लिंक निर्दिष्ट करने की क्षमता जोड़ते हैं। हम लेख आईडी द्वारा लॉग फ़ाइल नाम भी उत्पन्न करेंगे:

 link = sys.argv[1] # "https://habr.com/ru/post/000001/" link_path = urlparse.urlparse(link.strip("/")).path # https://habr.com/ru/post/000001/ => /ru/post/000001 link_parts = os.path.split(link_path) # /ru/post/000001=> ('/ru/post', '000001') log_file = "habr_log%s.txt" % link_parts[1] 

और बहुत आखिरी कदम। हम फ़ंक्शन में कोड निकालते हैं, लूप में हम डेटा को परागित करते हैं, और लॉग में परिणाम लिखते हैं।

 delay_s = 5*60 while True: # Get data data_str = get_as_str(link) data_csv = extract_as_csv(data_str) print data_csv # Append data to log with open(log_file, "a") as logfile: logfile.write(data_csv + '\n') sleep(delay_s) 

जैसा कि आप देख सकते हैं, डेटा हर 5 मिनट में अपडेट किया गया था ताकि सर्वर पर लोड न बनाया जाए। मैंने प्रोग्राम फ़ाइल को habr_parse.py नाम से सहेजा है, जब यह शुरू होता है, तो यह प्रोग्राम बंद होने तक डेटा बचाएगा।

इसके अलावा, कम से कम कुछ दिनों के लिए डेटा को बचाने की सलाह दी जाती है। क्योंकि हम कंप्यूटर को कई दिनों तक चालू रखने के लिए अनिच्छुक हैं, हम रास्पबेरी पाई लेते हैं - यह इस तरह के कार्य के लिए पर्याप्त शक्ति है, और एक पीसी के विपरीत, रास्पबेरी पाई शोर नहीं करता है और लगभग कोई बिजली नहीं लेता है। हम SSH पर जाते हैं और अपनी स्क्रिप्ट चलाते हैं:

 nohup python habr_parse.py https://habr.com/ru/post/0000001/ & 

नॉहूप कमांड कंसोल को बंद करने के बाद स्क्रिप्ट को बैकग्राउंड में छोड़ देता है।

एक बोनस के रूप में, आप "nuhup python -m SimpleHTTPServer 8000 &" कमांड दर्ज करके बैकग्राउंड में एक http सर्वर चला सकते हैं। यह आपको किसी भी समय ब्राउज़र में सीधे परिणाम देखने की अनुमति देगा, फॉर्म का एक लिंक खोलते हुए http://192.168.1.101:8000 (निश्चित रूप से पता अलग हो सकता है)।

अब आप रास्पबेरी पाई को चालू कर सकते हैं और कुछ दिनों में परियोजना पर लौट सकते हैं।

डेटा विश्लेषण

यदि सब कुछ सही ढंग से किया गया था, तो आउटपुट इस लॉग की तरह होना चाहिए:

 2019-02-12T22:26:28.000,votes:12,bookmarks:0,views:448,comments:1; 2019-02-12T22:31:29.000,votes:12,bookmarks:0,views:467,comments:1; 2019-02-12T22:36:30.000,votes:14,bookmarks:1,views:482,comments:1; 2019-02-12T22:41:30.000,votes:14,bookmarks:2,views:497,comments:1; 2019-02-12T22:46:31.000,votes:14,bookmarks:2,views:513,comments:1; 2019-02-12T22:51:32.000,votes:14,bookmarks:2,views:527,comments:1; 2019-02-12T22:56:32.000,votes:14,bookmarks:2,views:543,comments:1; 2019-02-12T23:01:33.000,votes:14,bookmarks:2,views:557,comments:2; 2019-02-12T23:06:34.000,votes:14,bookmarks:2,views:567,comments:3; 2019-02-12T23:11:35.000,votes:13,bookmarks:2,views:590,comments:4; ... 2019-02-13T02:47:03.000,votes:15,bookmarks:3,views:1100,comments:20; 2019-02-13T02:52:04.000,votes:15,bookmarks:3,views:1200,comments:20; 

आइए देखें कि इसे कैसे संसाधित किया जा सकता है। आरंभ करने के लिए, csv को एक पांडा डेटाफ़्रेम में लोड करें:

 import pandas as pd import numpy as np import datetime log_path = "habr_data.txt" df = pd.read_csv(log_path, header=None, names=['datetime', 'votes', 'bookmarks', 'views', 'comments']) 

रूपांतरण और औसत के लिए फ़ंक्शंस जोड़ें, और आवश्यक डेटा निकालें:

 def to_float(s): # "bookmarks:22" => 22.0 num = ''.join(i for i in s if i.isdigit()) return float(num) def running_mean(l, N=2): sum = 0 result = len(l)*[0] for i in range(0, N): sum = sum + l[i] result[i] = sum / (i + 1) for i in range(N, len(l)): sum = sum - l[i - N] + l[i] result[i] = sum / N return result log_path = "habr_data.txt" df = pd.read_csv(log_path, header=None, names=['datetime', 'votes', 'bookmarks', 'views', 'comments']) print df.head() dates = pd.to_datetime(df['datetime'], format='%Y-%m-%dT%H:%M:%S.%f') dates += datetime.timedelta(hours=3) views = df["views"].map(to_float, na_action=None) views_avg = running_mean(views.values.tolist()) votes = df["votes"].map(to_float, na_action=None) bookmarks = df["bookmarks"].map(to_float, na_action=None) comments = df["comments"].map(to_float, na_action=None) viewspervotes = views/votes viewsperbookmarks = views/bookmarks 

एवरेजिंग आवश्यक है क्योंकि साइट पर विचारों की संख्या 100 की वृद्धि में प्रदर्शित होती है, जो "फाड़ा" अनुसूची की ओर जाता है। सिद्धांत रूप में, यह आवश्यक नहीं है, लेकिन औसत के साथ यह बेहतर दिखता है। मॉस्को समय क्षेत्र को कोड में भी जोड़ा गया है (रास्पबेरी पाई पर समय जीएमटी निकला)।

अंत में, आप ग्राफ़ प्रदर्शित कर सकते हैं और देख सकते हैं कि क्या हुआ।

 import matplotlib.pyplot as plt # Draw fig, ax = plt.subplots() # plt.plot(dates, votes, 'ro', markersize=1, label='Votes') # plt.plot(dates, bookmarks, 'go', markersize=1, label='Bookmarks') # plt.plot(dates, comments, 'go', markersize=1, label='Comments') ax.plot(dates, views_avg, 'bo', markersize=1, label='Views') # plt.plot(dates, views_g, 'bo', markersize=1, label='Views') # plt.plot(dates, viewspervotes, 'ro', markersize=1, label='Views/Votes') # plt.plot(dates, viewsperbookmarks, 'go', markersize=1, label='Views/Bookmarks') ax.xaxis.set_major_formatter(mdates.DateFormatter("%d-%d-%Y")) ax.xaxis.set_major_locator(mdates.DayLocator()) ax.xaxis.set_minor_locator(mdates.HourLocator(interval=1)) fig.autofmt_xdate() plt.legend(loc='best') plt.xticks(rotation=45, ha="right") plt.tight_layout() plt.show() 

परिणाम

प्रत्येक ग्राफ की शुरुआत में एक खाली जगह होती है, जिसे बस समझाया जाता है - जब स्क्रिप्ट लॉन्च की गई थी, तो लेख पहले से ही प्रकाशित किए गए थे, इसलिए डेटा को खरोंच से एकत्र नहीं किया गया था। "शून्य" बिंदु को लेख के प्रकाशन समय के विवरण से मैन्युअल रूप से जोड़ा गया था।

सभी निर्धारित चार्ट मैटप्लोटलिब और उपरोक्त कोड द्वारा उत्पन्न होते हैं।

परिणामों के अनुसार, मैंने जांच किए गए लेखों को 3 समूहों में विभाजित किया है। विभाजन सशर्त है, हालांकि इसमें अभी भी कुछ समझ है।

गर्म लेख

यह लेख कुछ लोकप्रिय और प्रासंगिक विषय के बारे में है, जैसे शीर्षक के साथ "कैसे एमटीएस धन में कटौती करता है" या "रोसकोम्नाडज़ोर ने पोर्न गिट हब को अवरुद्ध किया"।

इस तरह के लेखों में बड़ी संख्या में विचार और टिप्पणियाँ होती हैं, लेकिन "प्रचार" अधिकतम कई दिनों तक रहता है। आप दिन और रात के दौरान विचारों की संख्या में वृद्धि में मामूली अंतर देख सकते हैं (लेकिन यह उतना महत्वपूर्ण नहीं है जितना कि अपेक्षित है - जाहिर है, हैबर लगभग सभी समय क्षेत्रों से पढ़ा जाता है)।





"पसंद" की संख्या में काफी वृद्धि हो रही है, जबकि बुकमार्क की संख्या में काफी धीमी वृद्धि हो रही है। यह तर्कसंगत है, क्योंकि कोई व्यक्ति लेख को पसंद कर सकता है, लेकिन पाठ की विशिष्टता ऐसी है कि इसे बुकमार्क करने की आवश्यकता नहीं है।



विचारों और पसंदों का अनुपात लगभग समान है और लगभग 400: 1 है:

"तकनीकी" लेख

यह अधिक विशिष्ट लेख है, जैसे "नोड जेएस के लिए लिपियों को स्थापित करना"। इस तरह के लेख, निश्चित रूप से, "हॉट" एक की तुलना में कई बार कम विचार प्राप्त करते हैं, टिप्पणियों की संख्या भी काफी कम है (इस मामले में केवल 4 थे)।





लेकिन अगला बिंदु अधिक दिलचस्प है: ऐसे लेखों के लिए "पसंद" की संख्या "निशान" की संख्या की तुलना में काफी धीमी गति से बढ़ रही है। यहां पिछले संस्करण की तुलना में यह दूसरा तरीका है - कई लेख भविष्य के लिए सहेजने के लिए उपयोगी हैं, लेकिन पाठक को बिल्कुल भी "पसंद" नहीं करना है।



वैसे, इस बिंदु पर मैं साइट प्रशासकों का ध्यान आकर्षित करना चाहूंगा - जब लेख की रेटिंग की गणना करते हैं, तो आपको पसंद के साथ समानांतर में बुकमार्क गिनना चाहिए (उदाहरण के लिए, OR द्वारा सेट का संयोजन)। अन्यथा, यह रेटिंग में एक पूर्वाग्रह की ओर जाता है, जब एक प्रसिद्ध लेख में कई बुकमार्क होते हैं (अर्थात, पाठकों ने निश्चित रूप से इसे पसंद किया है), लेकिन ये लोग "जैसे" क्लिक करने के लिए भूल गए या बहुत आलसी थे।

और अंत में, विचारों और पसंद का अनुपात: आप देख सकते हैं कि यह पहले अवतार की तुलना में काफी अधिक है और लगभग 150: 1 है, अर्थात्। सामग्री की गुणवत्ता को भी परोक्ष रूप से उच्च माना जा सकता है।

"संदिग्ध" लेख (लेकिन यह सटीक नहीं है)

अगले लेख की जांच के लिए, 5 मिनट के अंतराल में "पसंद" की संख्या में एक तिहाई की वृद्धि हुई (तुरंत 10 से सभी 30 दिनों के कुल स्कोर के साथ)।



किसी को धोखा देने का संदेह हो सकता है, लेकिन सिद्धांत में "कतार सिद्धांत" इस तरह के उछाल की अनुमति देता है। या हो सकता है कि लेखक ने अपने सभी 10 दोस्तों को लिंक भेजा हो, जो निश्चित रूप से, नियमों द्वारा निषिद्ध नहीं है।

निष्कर्ष

मुख्य निष्कर्ष यह है कि सब कुछ क्षय और माया है। यहां तक ​​कि सबसे लोकप्रिय सामग्री, हजारों दृश्य प्राप्त करना, केवल 3-4 दिनों में "अतीत में" जाएगा। इस तरह, अफसोस, आधुनिक इंटरनेट की बारीकियों, और शायद पूरे आधुनिक मीडिया उद्योग के रूप में। और मुझे यकीन है कि दिखाए गए आंकड़े न केवल हबर के लिए, बल्कि किसी भी समान इंटरनेट संसाधन के लिए भी विशिष्ट हैं।

अन्यथा, यह विश्लेषण प्रकृति में "शुक्रवार" होने की अधिक संभावना है, और निश्चित रूप से, एक गंभीर अध्ययन होने का दिखावा नहीं करता है। मुझे यह भी उम्मीद है कि किसी को पंडों और माटप्लोटलिब का उपयोग करने में कुछ नया मिला।

आपका ध्यान के लिए धन्यवाद।