हैब्रेटैटिस्टिक्स: पाठक टिप्पणियों का विश्लेषण करें। भाग 2, सवालों के जवाब

हाय हमर।

पिछले भाग में , इस साइट के उपयोगकर्ताओं के संदेशों का विश्लेषण किया गया था, जिससे विभिन्न मापदंडों (संदेशों की संख्या, रेटिंग, "कर्म", आदि) के विषय पर अधिक जीवंत चर्चा हुई। इस तरह के सवाल दूसरे भाग को बनाने के लिए पर्याप्त रूप से जमा हुए हैं।



जो लोग इस वर्ष के लिए टिप्पणियों में सबसे बड़ी चर्चा की लंबाई क्या है में रुचि रखते हैं, उपयोगकर्ताओं के लिए अधिकतम और न्यूनतम "कर्म" क्या हो सकता है, और अन्य आँकड़े, मैं बिल्ली के लिए पूछता हूं।

डेटा संग्रह

शुरू करने के लिए, मुझे पार्सर को पूरक करना था ताकि यह अधिक डेटा एकत्र करे। संदेशों की रेटिंग और थ्रेड में संदेशों की स्थिति के बारे में जानकारी पहले से ही HTML में है, लेकिन उपयोगकर्ता के "कर्म" को प्राप्त करने के लिए, एक अतिरिक्त अनुरोध किया जाना था। बेशक, मानों को कैश किया गया था ताकि एक ही उपयोगकर्ता के लिए कई बार डेटा का अनुरोध न करें।

अद्यतन किया गया डेटासेट अब इस तरह दिखता है (उपयोगकर्ता उपनाम हटा दिया गया है):

https://habr.com/ru/post/322900/,comment_19707920,comment_19706258,UserXXXX,karma:112.2,answers:1,2019-02-04 20:26:00,rating:1,up:1,down:0, ?
https://habr.com/ru/company/mailru/blog/351212/,comment_19794710,comment_19794310,UserXXXX,karma:-10.0,answers:1,2019-02-23 18:16:00,rating:3,up:5,down:-2,
...

अतिरिक्त क्षेत्रों से, उत्तर क्षेत्र (उत्तरों की संख्या), उपयोगकर्ता के कर्म, साथ ही साथ सकारात्मक और नकारात्मक रेटिंग को जोड़ा गया।

उदाहरण के लिए, उपयोगकर्ता के उपनाम से "कर्म" प्राप्त करने का कार्य इस प्रकार है:

 def get_karma(user: str): data_html = get_as_str("https://habr.com/ru/users/%s/" % user) karma = data_html.find_between('info/help/karma/', '</a>').find_between('stacked-counter__value', '/div>').find_between('>', '<').replace(",", ".").replace('–', '-') return float(karma) if len(karma) > 0 else 0.0 

जैसा कि आप देख सकते हैं, सब कुछ बहुत सरल है, कोई रॉकेट साइंस नहीं है। हमें HTML कोड के लिए हैबर प्रोग्रामर को भी धन्यवाद देना चाहिए जो पार्स करने के लिए स्पष्ट और सुविधाजनक है।

इस 2019 के लिए परिणामी CSV फ़ाइल का आकार 334 MB था। आप विश्लेषण शुरू कर सकते हैं। शुरू करने से पहले, मैं आपको याद दिलाता हूं कि सभी प्रकाशित डेटा खुले और सार्वजनिक हैं, उन्हें खोज इंजन द्वारा अनुक्रमित भी किया जाता है। मुझे कोई अंदरूनी जानकारी नहीं है, सब कुछ इस साइट के पन्नों से लिया गया है।

कर्म

जैसा कि पिछले भाग में दिखाया गया है, "कर्म प्रश्न" सबसे अधिक रुचि रखते हैं, तो चलिए इसके साथ शुरू करते हैं। जैसा कि आप जानते हैं, "कर्म" इस साइट के किसी भी सक्रिय उपयोगकर्ता की विशेषता है, प्रतिभागी इसे बढ़ाने या घटाने का विकल्प चुन सकते हैं। सच कहूं, तो मैं कभी इस सवाल में नहीं गया कि यह वास्तव में कैसे काम करता है और इसकी क्या सीमाएं हैं, इसलिए मैं बिना किसी विशेष टिप्पणी के केवल डेटा देता हूं।

कुल मिलाकर, रेटिंग एकत्र करने के समय साइट पर, 25,109 उपयोगकर्ता हैं जो कम से कम एक बार कम से कम एक टिप्पणी छोड़ देते हैं। इनमें से, 9973 उपयोगकर्ताओं (39%) का शून्य कर्म है । 12346 उपयोगकर्ताओं (49%) के सकारात्मक कर्म हैं , जिनमें से 5384 उपयोगकर्ताओं (21%) के पास कर्म है = = 4 और > 40 = कर्म (यह स्तर आपको "इनाम कार्यक्रम" में भाग लेने और लेखों के लिए भुगतान प्राप्त करने की अनुमति देता है) 1,222 उपयोगकर्ता हैं (6) %)। 2790 उपयोगकर्ताओं (11%) में नकारात्मक कर्म हैं ।

रेखांकन, वितरण का मुख्य भाग इस तरह दिखता है:



कार्यक्षेत्र - इस कर्म वाले उपयोगकर्ताओं की संख्या। चार्ट शीर्ष पर क्रॉप किया गया है, जैसा कि शून्य कर्म के साथ अधिकतम उपयोगकर्ता ("कर्म" 1 के साथ 2570 के खिलाफ 9973)। बहुत कम "दिमाग वाले" उपयोगकर्ता नहीं हैं, लेकिन फिर भी शेड्यूल को प्लस में स्थानांतरित कर दिया गया है, और यह प्रसन्न करता है। कर्म कितना ऊँचा और नीचा हो सकता है?

शीर्ष 10 कर्म रेटिंगों में ज़ेलीनिकॉट (+1509.2), मिलफगार्ड (+1471.0), m1rko (+1039.5), PatientZero (+986.0), बोयुरुम (+881.9), वाल्डिकएसएस (+873.5), एलिज़र (+837.5) का कब्जा है। (+802.5), लोजगा (+764.7), और DIHALT (696.1)। मुझे लगता है कि उन्हें बधाई दी जा सकती है - अच्छी नौकरी, दोस्तों :) अगर मैंने किसी को याद किया है - निजी संदेशों में लिखें, मैं इसे मैन्युअल रूप से जोड़ूंगा।

वैसे, जैसा कि यह पता चला है, मेरे कर्मरिटिंग गणना फ़ंक्शन में एक त्रुटि थी - यह 1000 से अधिक मूल्यों को सही ढंग से संसाधित नहीं करता है (हैबर संख्या में एक स्थान जोड़ता है, मुझे यह नहीं पता था), लेकिन स्थिति दुर्लभ है, और मैंने इसे अभी नोटिस नहीं किया है।

वे कर्म से एंटिटोप -10 लेते हैं ... नहीं, मैं शायद उनके उपनाम नहीं देने जा रहा हूं ताकि ऐसे उपयोगकर्ताओं को "विज्ञापन" न बनाया जाए, जो रुचि रखते हैं, एक स्पॉइलर के तहत स्क्रीनशॉट से डेटा ड्राइव कर सकते हैं। बेशक, साइट पर नकारात्मक कर्म केवल यह कहता है कि एक व्यक्ति इस साइट पर एक अलोकप्रिय राय व्यक्त करता है, और अपने व्यक्तिगत गुणों के बारे में कुछ भी नहीं कहता है, ताकि "एंटिटोप" में आने वाले लोगों को नाराज न होने के लिए कहा जाए।

संदेशों

संदेशों में आप बहुत सारी दिलचस्प चीजें भी पा सकते हैं।

शीर्ष 5 संदेश क्रमशः 26 , 17 , 16 , 15 और 14 KB लंबे हैं।

वितरण को चित्रमय रूप में देखना दिलचस्प है:



जैसा कि आप देख सकते हैं, शिखर लगभग 100 वर्णों के संदेशों पर आता है।

रेटिंग

सबसे सकारात्मक मूल्यांकित संदेश: +218 , +144 , +141 , +133 और +124 ।

सबसे नकारात्मक मूल्यांकित संदेश हैं -248 , -170 , -163 , -131 और -114 ।

यह दिलचस्प है कि रेटिंग के अनुसार संदेशों की संख्या का वितरण "कर्म" के वितरण के समान है - संदेशों के सकारात्मक और नकारात्मक दोनों मूल्यांकन हैं, लेकिन अधिक "सकारात्मक" हैं। जो फिर से, लेकिन आनन्दित नहीं कर सकता।

विचार-विमर्श

अगला दिलचस्प सवाल संदेशों के बीच सबसे लंबा धागा ढूंढ रहा था। ऐसा करने के लिए यह काफी सरल निकला - HTML के प्रत्येक संदेश में एक विशिष्ट पहचानकर्ता है, एक डेटा-पैरेंट_ड पैरामीटर भी है, बाकी, जैसा कि वे कहते हैं, एक तकनीकी मामला है।

तो, 2019 में चर्चा का सबसे लंबा किनारा : 619 उत्तर , 618 उत्तर , 614 उत्तर , 556 उत्तर और 553 उत्तर । दिलचस्प बात यह है कि इन थ्रेड्स के कारण आने वाले 5 संदेशों में से 4 को उपयोगकर्ताओं द्वारा कर्म से कम -20 लिखा गया था।

टिप्पणियों को उनकी प्रतिक्रियाओं की संख्या के अनुसार समूहित करें:



कार्यक्षेत्र - इस वर्ष के लिए पदों की संख्या। अधिकांश टिप्पणियों (41% या 183000) को बिना किसी प्रतिक्रिया के छोड़ दिया गया, 75 हजार टिप्पणियों में 1 उत्तर है, आगे वितरण तस्वीर में देखा जा सकता है।

निष्कर्ष

इस पर मैं जनवरी तक "habrastatistics" विषय को समाप्त कर दूंगा - वर्ष के अंत में 2019 के सर्वश्रेष्ठ लेखों की अंतिम रेटिंग प्रकाशित की जाएगी, ठीक है, कुछ अन्य दिलचस्प पैटर्न हो सकते हैं।

मुझे उम्मीद है कि यह दिलचस्प था। अगर मैं किसी को भूल गया - लिखो, सही है।