हैब्रेटैटिस्टिक्स: पाठक टिप्पणियों का विश्लेषण

हाय हमर। पिछले भाग में , साइट के विभिन्न वर्गों की लोकप्रियता का विश्लेषण किया गया था, और समानांतर में, यह सवाल उठता है - लेखों पर टिप्पणियों से क्या डेटा निकाला जा सकता है। मैं एक परिकल्पना का भी परीक्षण करना चाहता था, जिसके बारे में मैं नीचे चर्चा करूंगा।


डेटा काफी दिलचस्प निकला, टिप्पणीकारों का एक छोटा "मिनी-रेटिंग" बनाना भी संभव था। कट के नीचे जारी है।

डेटा संग्रह

विश्लेषण के लिए, हम इसके लिए डेटा का उपयोग करेंगे, 2019 वर्ष, खासकर जब से सीएसवी के रूप में लेखों की सूची पहले से ही मुझे प्राप्त हो चुकी है। यह प्रत्येक लेख से टिप्पणियां निकालने के लिए बनी हुई है, सौभाग्य से हमारे लिए, वे वहां संग्रहीत हैं, और अतिरिक्त अनुरोधों की आवश्यकता नहीं है।

किसी लेख से टिप्पणियां निकालने के लिए, निम्नलिखित कोड पर्याप्त है:

r = requests.get("https://habr.com/ru/post/467453/")
data_html = r.text
comments = data_html.split('<div class="comment" id=')

comments_list = []
for comment in comments:
    body = Str(comment).find_between('<div class="comment__message', '<div class="comment__footer"').find_between('>', '</div>')# .replace('\n', '-')
    if len(body) < 4: continue

    body = body.translate(str.maketrans(dict.fromkeys("\t\n\r\v\f")))
    body = body.replace('"', "'").replace(',', " ").replace('<br>', ' ').replace('<p>', '').replace('</p>', '').replace('  ', ' ')

    user = Str(comment).find_between('data-user-login', '>').find_between('"', '"')
    date_str = Str(comment).find_between('<time class="comment__date-time comment__date-time_published', 'time>').find_between('>', '<')
    vote = Str(comment).find_between('<div class="voting-wjt', '</div>').find_between('<span', 'span>').find_between('>', '<')
    date = dateparser.parse(date_str)

    csv_data = "{},{},{},{}".format(user, date, vote, body)
    comments_list.append(csv_data)

( ):

xxxxxxx,2019-02-06 11:50:00,0, ?
xxxxxxx-02-24 16:15:00,+1, .
xxxxxxx,2019-02-23 20:15:00,–5,


, , , , . , .

, , — , . , youtube — , , , . , , , -. , … , , .. , . , , . «» — , __ . , .

, disclaimer. , , . , . , , .

, . , 2019 ( ). 448533 , csv- 288. , .

, .



, . « », 10 18 ;) , , .

:



- — , , ( ).

, , , — , .

, . , , 25000 .

, , :



, . 5% 60% . 10% — 74% ( , , 450). , , ( , ).

, — . , , , .

, 5 VoXXXX (3377 ), 0xdXXXXX (3286 ), strXXXX (3043 ), AmXXXX (2897 ) khXXXX (2748 ).

, 5 amXXXX (1395 , +3231/-309), tvXXXX (1544 , +3231/-97), WhuXXXX (921 , +2288/-13), MTXXXX (1328 , +1383/-7) amaXXXX (736 , +1340/-16).

( ) Milfgard Boomburum. , , , .

. siXX (473 , 699 ), khXX (1915 , 573 ) nicXXXXX (456 , 487 ). , . «» vladXXXX (55 , 84 , 0 ), ekoXXXX (77 , 92 , 1 ) iMXXXX (225 , 205 , 12 ).

, , .

, . , « » . - , .

.