हाबरा मेगारेटिंग: 12 वर्षों के लिए हबर का सर्वश्रेष्ठ लेख और आँकड़े। भाग १/२

हाय हमर।

2017 और 2018 के लिए लेखों की रैंकिंग के प्रकाशन के बाद, अगला विचार स्पष्ट था - सभी वर्षों के लिए एक सामान्यीकृत रेटिंग एकत्र करने के लिए। लेकिन सिर्फ लिंक एकत्र करना ही ट्राइट (हालांकि उपयोगी भी होगा) होगा, इसलिए डेटा प्रोसेसिंग का विस्तार करने और कुछ और उपयोगी जानकारी एकत्र करने का निर्णय लिया गया।



रेटिंग, आंकड़े और बिल्ली के नीचे पायथन में स्रोत कोड का एक सा।

डाटा प्रोसेसिंग

जो लोग तुरंत परिणामों में रुचि रखते हैं वे इस अध्याय को छोड़ सकते हैं। इस बीच, हम यह पता लगाएंगे कि यह कैसे काम करता है।

स्रोत डेटा के रूप में, निम्न प्रकार का एक csv फ़ाइल है:

datetime,link,title,votes,up,down,bookmarks,views,comments 2006-07-13T14:23Z,https://habr.com/ru/post/1/,"Wiki-FAQ  ",votes:1,votesplus:1,votesmin:0,bookmarks:8,views:28300,comments:56 2006-07-13T20:45Z,https://habr.com/ru/post/2/,"     … !",votes:1,votesplus:1,votesmin:0,bookmarks:1,views:14600,comments:37 ... 2019-01-25T03:47Z,https://habr.com/ru/post/435118/,"Save File Me —        ",votes:5,votesplus:5,votesmin:0,bookmarks:26,views:1800,comments:6 2019-01-08T03:09Z,https://habr.com/ru/post/435120/,"Lambda-  SQL…  ",votes:9,votesplus:13,votesmin:4,bookmarks:63,views:5700,comments:30 

इस रूप में सभी लेखों के सूचकांक में 42 एमबी लगते हैं, और रास्पबेरी पाई पर स्क्रिप्ट को चलाने में लगभग 10 दिनों का समय लगता है (डाउनलोड एक ही स्ट्रीम में रुका हुआ था ताकि सर्वर ओवरलोड न हो)। अब देखते हैं कि इस सब से क्या डेटा निकाला जा सकता है।

साइट ऑडियंस

आइए अपेक्षाकृत सरल से शुरू करें - हम सभी वर्षों के लिए साइट के दर्शकों का मूल्यांकन करेंगे। मोटे अनुमान के लिए, आप लेखों पर टिप्पणियों की संख्या का उपयोग कर सकते हैं। डेटा डाउनलोड करें और टिप्पणियों की संख्या का एक ग्राफ प्रदर्शित करें।

 import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv(log_path, sep=',', encoding='utf-8', error_bad_lines=True, quotechar='"', comment='#') def to_int(s): # "bookmarks:22" => 22 num = ''.join(i for i in s if i.isdigit()) return int(num) dates = pd.to_datetime(df['datetime'], format='%Y-%m-%dT%H:%MZ') dates += datetime.timedelta(hours=3) comments = df["comments"].map(to_int, na_action=None) plt.rcParams["figure.figsize"] = (9, 6) fig, ax = plt.subplots() plt.plot(dates, comments, 'go', markersize=1, label='Comments') ax.xaxis.set_major_locator(mdates.YearLocator()) plt.ylim(bottom=0, top=1000) plt.legend(loc='best') fig.autofmt_xdate() plt.tight_layout() plt.show() 

डेटा कुछ इस तरह दिखता है:



परिणाम दिलचस्प है - यह पता चला है कि 2009 के बाद से साइट के सक्रिय दर्शक (लेखों पर टिप्पणी छोड़ने वाले) व्यावहारिक रूप से नहीं बढ़े हैं। हालाँकि शायद सभी आईटी कर्मचारी सिर्फ यहाँ हैं?

जब से हम दर्शकों के बारे में बात कर रहे हैं, तो यह हैर के नवीनतम नवाचार को याद करने के लिए दिलचस्प है - साइट का एक अंग्रेजी संस्करण। लिंक के अंदर "/ en /" के साथ लेख सूचीबद्ध करें।

 df = df[df['link'].str.contains("/en/")] 

परिणाम भी दिलचस्प है (ऊर्ध्वाधर पैमाने को विशेष रूप से समान छोड़ दिया गया है):



प्रकाशन की संख्या में वृद्धि 15 जनवरी, 2019 को शुरू हुई, जब हैलो दुनिया की घोषणा हुई ! या अंग्रेजी में हैबर , हालांकि, इस 3 लेखों के कई महीने पहले ही प्रकाशित हो चुके थे: 1 , 2, और 3 । शायद यह बीटा परीक्षण था?

पहचानकर्ता

अगला दिलचस्प बिंदु, जिसे हमने पिछले भागों में नहीं देखा था, लेख पहचानकर्ताओं और प्रकाशन तिथियों की तुलना है। प्रत्येक लेख में habr.com/en/post/N का एक लिंक होता है , लेखों की संख्या अंत-से-अंत होती है, पहले लेख में पहचानकर्ता 1 होता है, और आप जो पढ़ रहे हैं वह 441740 है। ऐसा लगता है कि सब कुछ सरल है। लेकिन वास्तव में नहीं। तारीखों और पहचानकर्ताओं के पत्राचार की जाँच करें।

पंडों डेटाफ़्रेम को फ़ाइल अपलोड करें, तिथियों और आईडी का चयन करें, और उन्हें प्लॉट करें:

 df = pd.read_csv(log_path, header=None, names=['datetime', 'votes', 'bookmarks', 'views', 'comments']) dates = pd.to_datetime(df['datetime'], format='%Y-%m-%dT%H:%M:%S.%f') dates += datetime.timedelta(hours=3) df['datetime'] = dates def link2id(link): # https://habr.com/ru/post/345936/ => 345936 if link[-1] == '/': link = link[0:-1] return int(link.split('/')[-1]) df['id'] = df["link"].map(link2id, na_action=None) plt.rcParams["figure.figsize"] = (9, 6) fig, ax = plt.subplots() plt.plot(df_ids['id'], df_ids['datetime'], 'bo', markersize=1, label='Article ID') ax.yaxis.set_major_formatter(mdates.DateFormatter("%d-%m-%Y")) ax.yaxis.set_major_locator(mdates.MonthLocator()) plt.legend(loc='best') fig.autofmt_xdate() plt.tight_layout() plt.show() 

परिणाम आश्चर्यजनक है - पहचानकर्ताओं को हमेशा एक पंक्ति में नहीं लिया जाता है, जैसा कि मूल रूप से माना जाता है, ध्यान देने योग्य "आउटलेयर" हैं।



आंशिक रूप से उनके कारण, दर्शकों के पास 2017 और 2018 के लिए रेटिंग्स के बारे में प्रश्न थे - "गलत" आईडी वाले ऐसे लेखों को पार्सर द्वारा ध्यान में नहीं लिया गया था। क्यों कहना मुश्किल है, और इतना महत्वपूर्ण नहीं है।

पहचानकर्ताओं के बारे में क्या दिलचस्प हो सकता है? एक परिकल्पना है कि मैं औपचारिक रूप से साबित नहीं कर सकता, लेकिन जो स्पष्ट लगता है। एक पहचानकर्ता को मसौदा लेख लिखने के समय सौंपा गया है, और प्रकाशन की तारीख स्पष्ट रूप से बाद में आती है। कोई उसी दिन लेख पोस्ट करता है, कोई बाद में सामग्री प्रकाशित करता है। यह सब क्यों? आइए एक्स-एक्स, और तिथियों पर पहचानकर्ताओं को लंबवत रूप से रखें, और ग्राफ़ के टुकड़े को और अधिक विस्तार से देखें:



परिणाम - हम ठोस रेखा के ऊपर डॉट्स का एक बादल देखते हैं, जो हमें लेखों के निर्माण की अवधि के लिए समय के वितरण को दर्शाता है। जैसा कि आप देख सकते हैं, अधिकतम अंतराल 1-2 सप्ताह तक गिरता है। लगभग संपूर्ण लेखों का निर्माण एक महीने से अधिक नहीं हुआ है, हालांकि कुछ लेख ड्राफ्ट के निर्माण के कई महीनों बाद प्रकाशित होते हैं (बेशक, यह हमें गारंटी नहीं देता है कि लेखक ने कई महीनों तक दैनिक रूप से लेख पर काम किया है, लेकिन परिणाम अभी भी काफी दिलचस्प है)।

प्रकाशन की तिथि और समय

एक दिलचस्प, यद्यपि सहज ज्ञान युक्त, बिंदु लेखों के प्रकाशन का समय है।

कार्य दिवस पर आउटपुट आँकड़े:

 print("Group by hour (average, working days):") df_workdays = df[(df['day'] < 5)] g = df_workdays.groupby(['hour']) hour_count = g.size().reset_index(name='counts') grouped = g.median().reset_index() grouped['counts'] = hour_count['counts'] print(grouped[['hour', 'counts', 'views', 'comments', 'votes', 'votesperview']]) print() view_hours = grouped['hour'].values view_hours_avg = grouped['counts'].values fig, ax = plt.subplots() plt.bar(view_hours, view_hours_avg, align='edge', label='Publication Time (Mo-Fr)') ax.set_xticks(range(24)) ax.xaxis.set_major_formatter(FormatStrFormatter('%d:00')) plt.legend(loc='best') fig.autofmt_xdate() plt.tight_layout() plt.show() 

सप्ताह के दिनों में प्रकाशन के समय पर लेखों की संख्या पर निर्भरता:



तस्वीर दिलचस्प है, अधिकांश प्रकाशन काम के घंटों पर आते हैं। अभी भी दिलचस्प है, ज्यादातर लेखकों के लिए लेख लिखना मुख्य काम है, या क्या वे काम के घंटों के दौरान ऐसा कर रहे हैं? ;) लेकिन सप्ताहांत पर वितरण अनुसूची एक अलग तस्वीर देता है:



चूंकि हम तारीख और समय के बारे में बात कर रहे हैं, चलो सप्ताह के दिन तक विचारों का औसत मूल्य और लेखों की संख्या देखें।

 g = df.groupby(['day', 'dayofweek']) dayofweek_count = g.size().reset_index(name='counts') grouped = g.median().reset_index() grouped['counts'] = dayofweek_count['counts'] grouped.sort_values('day', ascending=False) print(grouped[['day', 'dayofweek', 'counts', 'views', 'comments', 'votes', 'votesperview']]) print() view_days = grouped['day'].values view_per_day = grouped['views'].values counts_per_day = grouped['counts'].values days_of_week = grouped['dayofweek'].values plt.bar(view_days, view_per_day, align='edge', label='Avg.Views/day') plt.bar(view_days, counts_per_day, align='edge', label='Amount/day') plt.xticks(view_days, days_of_week) plt.ylim(bottom=0, top=10000) plt.show() 

परिणाम दिलचस्प है:



जैसा कि आप देख सकते हैं, सप्ताहांत पर काफी कम लेख प्रकाशित होते हैं। लेकिन फिर, प्रत्येक लेख अधिक विचार प्राप्त करता है, इसलिए सप्ताहांत पर लेख प्रकाशित करना काफी उचित लगता है (जैसा कि पहले भाग में पाया गया था, लेख का सक्रिय जीवन 3-4 दिनों से अधिक नहीं है, इसलिए पहले कुछ दिन काफी महत्वपूर्ण हैं)।

लेख शायद बहुत लंबा हो रहा है। दूसरे भाग में समाप्त।