📅 🦍 🍫 Habraiting 2018: die besten Materialien für 2018 🛠️ 🧙🏼 🧑🏽‍🤝‍🧑🏻

Hallo Habr.

Dieser Beitrag ist die logische Schlussfolgerung von Veröffentlichungen über den Lebenszyklus eines Artikels über Habré (der erste und zweite Teil für diejenigen, die sich für die technische Seite des Themas interessieren), wodurch ein ziemlich interessantes Werkzeug für die statistische Analyse erstellt wurde. Die Methode hat sich als sehr nützlich erwiesen und ermöglicht es Ihnen, Artikel anhand verschiedener Parameter zu finden, z. B. Artikel mit der höchsten „Qualität“ (Verhältnis von Bewertung zu Anzahl der Aufrufe), die „kontroversesten“ Artikel mit den polarsten Kommentaren, die am meisten kommentierten Materialien usw.

Es ist jetzt an der Zeit, daraus einen gewissen Nutzen zu ziehen und eine statistische Bewertung der Artikel für 2018 zu erstellen. Idealerweise wäre dies zu Beginn des neuen Jahres gut, aber kluge Gedanken passieren, kommen Sie spät. Aber besser spät als nie, dies wird einige nützliche Artikel für diejenigen erneut lesen, die sie auf einmal verpasst haben. Und ein kleiner „geheimer Bonus“ am Ende des Textes für diejenigen, die neugierig genug sind.

Diejenigen, die daran interessiert sind, was passiert ist, bitte unter der Katze.

Datenerfassung

Wer die Ergebnisse sofort sehen möchte, kann diesen Teil überspringen.

Wie im vorherigen Teil werden wir Python und die BeautifulSoap-Bibliothek verwenden, um Informationen über den Artikel zu sammeln. Mit seiner Hilfe erhalten wir Informationen über den Zeitpunkt der Veröffentlichung und den Titel des Artikels. Alle anderen Daten wurden bereits von uns erhalten, diejenigen, die dies wünschen, können sich auf den vorherigen Teil beziehen.

Als Ergebnis haben wir diese Funktion:

def get_article_data(page_link): data_html = get_as_str(page_link) soup = BeautifulSoup(data_html, 'html.parser') str_log = "" # Get datetime t = soup.find("span", {"class": "post__time"}) if t is None: return str_log += t['data-time_published'] + ',' # Get title and link url = soup.find("meta", property="og:url") url_str = url["content"] if url else "-" title = soup.find("meta", property="og:title") title_str = title["content"] if title else "-" str_log += '{},"{}",'.format(url_str, title_str.encode('utf8')) # Extract other parameters (rating, etc) str_log += extract_as_csv(data_html) print(str_log) return str_log

Das Ergebnis der Funktion ist eine Zeile der Form '2007-06-12T12: 58Z, https: //habr.com/en/post/35001/, "Wie stehen Sie zu Plagiaten?", Stimmen: 0, Stimmen plus: 0, Stimmenmin: 0 , Lesezeichen: 0, Ansichten: 161, Kommentare: 1 ', was einfach in einer CSV-Datei zu speichern ist.

Weiter, wie sie sagen, eine Frage der Technologie. Zum Glück haben alle Artikel auf Habré eine End-to-End-Nummerierung, so dass es nicht schwierig war, den gewünschten Datumsbereich mithilfe der Poke-Methode zu finden (übrigens können diejenigen, die „digitale Archäologie“ betreiben möchten, die Artikel mit den Nummern https://habr.com/en/post/1 lesen / und https://habr.com/ru/post/2/ , bereits 2006 veröffentlicht). Dann blieb es nur noch, unseren Parser in einer Schleife zu starten und über Nacht zu lassen (um den Server nicht zu laden, wurde zwischen den Anforderungen eine Pause hinzugefügt, sodass der Prozess nicht sehr schnell war).

Es gab Zweifel an Unternehmensblogs, aber wie sich herausstellte, haben sie dieselbe Nummerierung. Nur wenn Sie den Link öffnen, erfolgt eine Weiterleitung. Damit alle Daten vollständig heruntergeladen wurden, ging nichts verloren.

Für das gesamte Beispiel werden wir verschiedene Anfragen stellen und sehen, was passiert ist. Die Technologie und der Quellcode wurden im zweiten Teil beschrieben . Wer möchte, kann die Technik genauer studieren.

Ergebnisse

Bonus

Ein kleiner versprochener Bonus für diejenigen, die bis hierher gelesen haben. Es ist interessant, eine ähnliche Bewertung vor 10 Jahren in Betracht zu ziehen. 10 , 2008 .

-20 2008

Java 1084000 , 58 , +113.0/-7.0
BASH. 1 817000 , 114 , +135.0/-11.0
REST 484000 , 74 , +78.0/-7.0
471000 , 130 , +91.0/-41.0
jQuery . 3. AJAX 369000 , 36 , +71.0/-6.0
Java 352000 , 50 , +39.0/-5.0
, ? 348000 , 28 , +131.0/-8.0
- 336000 , 30 , +61.0/-1.0
Python — . 3. , , . 318000 , 58 , +38.0/-8.0
() 293000 , 158 , +103.0/-5.0
jQuery 233000 , 83 , +0.0/-0.0
putty ssh Windows 233000 , 10 , +0.0/-0.0
CSS Font-Size: em vs. px vs. pt vs. percent 232000 , 136 , +75.0/-12.0
CSS Reset 232000 , 102 , +85.0/-15.0
vs. 226000 , 160 , +4.0/-0.0
JavaScript 226000 , 86 , +131.0/-12.0
JavaScript — ? 225000 , 72 , +16.0/-3.0
. 214000 , 136 , +117.0/-6.0
MySQL 190000 , 49 , +0.0/-0.0
(VIEW) MySQL 173000 , 22 , +104.0/-1.0

-20 2008

, : Trojan-Downloader.Win32.Tiny , 118 , +351.0/-14.0
, 247 , +260.0/-12.0
, 74 , +229.0/-9.0
. ... , 212 , +214.0/-8.0
Hello, ! , 81 , +208.0/-7.0
— Toshiba Libretto 50ct (1997 ..) , 256 , +205.0/-8.0
, 197 , +191.0/-6.0
, 96 , +183.0/-7.0
'' , 187 , +162.0/-5.0
, 66 , +155.0/-6.0
120 dpi em , 65 , +150.0/-7.0
, Singularity, , 197 , +146.0/-3.0
, 227 , +146.0/-3.0
Pionen — , 105 , +141.0/-0.0
MySQL Performance real life Tips and Tricks , 93 , +141.0/-6.0
Xbox 360 , 77 , +135.0/-1.0
MySQL , 81 , +135.0/-4.0
Touch, MultiTouch - , 54 , +133.0/-2.0
- — , 147 , +133.0/-4.0
, , 110 , +131.0/-5.0

-20 2008

" ?" 5300 , +253.0/-29.0
) 6200 , +256.0/-22.0
10 7800 , +297.0/-22.0
. ... 5900 , +214.0/-8.0
Google? ! 5000 , +206.0/-38.0
, : Trojan-Downloader.Win32.Tiny 13300 , +351.0/-14.0
. Transitional vs Strict 5400 , +142.0/-8.0
Pionen — 5700 , +141.0/-0.0
Google! 5300 , +0.0/-0.0
Touch, MultiTouch - 5700 , +133.0/-2.0
5500 , +133.0/-7.0
, Singularity, 6400 , +146.0/-3.0
-, ! 8200 , +241.0/-67.0
CAPTCHA 7400 , +0.0/-0.0
404 6200 , +172.0/-50.0
PC — Memory Latency 6600 , +135.0/-7.0
Unix 5500 , +107.0/-5.0
' ' ASUS Eee PC 1000H 9300 , +194.0/-23.0
Google Microsoft 9200 , +180.0/-11.0
, 5600 , +117.0/-15.0

-20 2008

38 10400 , 677
- 32600 , 585
vs. 226000 , 523
MySQL 28700 , 490
17300 , 478
MySQL Performance real life Tips and Tricks 27900 , 453
, 130000 , 429
Doctrine 55600 , 412
pChart — PHP 52800 , 407
SVN 150000 , 401
() 293000 , 401
- 336000 , 396
, . 1 - . 1600 , 374
(VIEW) MySQL 173000 , 359
14 Web- 56100 , 357
25 2200 , 347
MySQL Query Cache 82800 , 342
-: Sphinx, Apache Lucene, Xapian 46800 , 340
MySQL JOIN 120000 , 329
Synergy — 55400 , 327

-20 2008

youtube mp4 61 , 179
39- . , . 231 , 768
RSS. 104 , 432
9- email 76 , 318
, . 1 - . 374 , 1600
Samorost -- 62 , 319
JS: , 104 , 559
Google Maps — 48 , 284
. . 48 , 285
84 , 526
25 347 , 2200
76 , 558
Site Helper 94 , 702
59 , 472
30 , , 257 , 2100
, . 1 42 , 349
( ) 78 , 675
jQuery ContextMenu — Opera 31 , 297
favicon 25 , 246
'' 'Create ZIP File' 20 , 202

-20 «» 2008

, 553 , +213.0/-188.0
, 719 , +389.0/-184.0
QIP Infium , 213 , +293.0/-182.0
Chrome , 82 , +264.0/-143.0
. , 178 , +223.0/-131.0
. , 80 , +240.0/-130.0
, 62 , +164.0/-121.0
Vkontakte , 105 , +169.0/-118.0
— №1. — ! — , 277 , +246.0/-116.0
... , 38 , +141.0/-111.0
Gay Test v.3 , 72 , +116.0/-110.0
, 134 , +261.0/-109.0
Gay Test v.2 , 226 , +312.0/-109.0
, 90 , +158.0/-99.0
! , 133 , +147.0/-92.0
2012? O_o , 229 , +113.0/-92.0
? , 115 , +170.0/-91.0
iPhone 3G , 33 , +99.0/-88.0
, ? , 122 , +115.0/-87.0
, 102 , +92.0/-87.0

-20 2008

Hello, world! 2194 , 10300
- 728 , 283
719 , 15300
, Google Chrome (k ) ! 652 , 1400
- Chrome 645 , 2000
Ubuntu 8.10 Final 592 , 1400
553 , 1400
№1. ? 530 , 3500
... 518 , 3600
... 486 , 3900
! :-) 474 , 630
470 , 212
. 465 , 2000
Mac' PC 451 , 739
? 447 , 11600
PHP 446 , 2600
ICQ#1 415 , 1000
Fallout 3 PC 410 , 179
Qt 400 , 18700
' ' 389 , 24100

-20 2008

, 553 , +213.0/-188.0
, 719 , +389.0/-184.0
QIP Infium , 213 , +293.0/-182.0
Chrome , 82 , +264.0/-143.0
. , 178 , +223.0/-131.0
. , 80 , +240.0/-130.0
, 62 , +164.0/-121.0
Vkontakte , 105 , +169.0/-118.0
— №1. — ! — , 277 , +246.0/-116.0
... , 38 , +141.0/-111.0
Ga* Test v.3 , 72 , +116.0/-110.0
, 134 , +261.0/-109.0
Ga* Test v.2 , 226 , +312.0/-109.0
, 90 , +158.0/-99.0
! , 133 , +147.0/-92.0
2012? O_o , 229 , +113.0/-92.0
? , 115 , +170.0/-91.0
iPhone 3G , 33 , +99.0/-88.0
, ? , 122 , +115.0/-87.0
, 102 , +92.0/-87.0

Schlussfolgerungen

:) , .

- , . , , 4 .

2017 .

Habraiting 2018: die besten Materialien für 2018

Datenerfassung

Ergebnisse

Bonus

Schlussfolgerungen

More articles: