🛠️ 😇 🥠 Habraiting 2018: los mejores materiales para 2018 🤷🏼 🍦 🧛🏿

Hola habr

Esta publicación es la conclusión lógica de las publicaciones sobre el ciclo de vida de un artículo sobre Habré (la primera y segunda parte para aquellos que están interesados en el aspecto técnico del problema), como resultado de lo cual se hizo una herramienta bastante interesante para el análisis estadístico. La metodología resultó ser muy útil y le permite encontrar artículos por varios parámetros, por ejemplo, artículos con la "calidad" más alta (relación de calificación a número de vistas), los artículos más "controvertidos" con los comentarios más polares, los materiales más comentados, etc.

Es hora de obtener algún beneficio de esto y compilar una calificación estadística de artículos para 2018. Idealmente, esto sería bueno para el comienzo del Año Nuevo, pero los pensamientos inteligentes ocurren, llegan tarde. Pero más vale tarde que nunca, le permitirá volver a leer algunos artículos útiles para aquellos que se los perdieron alguna vez. Y un pequeño "bono secreto" al final del texto para aquellos que sean lo suficientemente curiosos.

Aquellos que estén interesados en lo que sucedió, por favor, debajo del gato.

Recogida de datos

Aquellos que quieran ver los resultados de inmediato pueden omitir esta parte.

Como en la parte anterior , usaremos Python y la biblioteca BeautifulSoap para recopilar información sobre el artículo. Con su ayuda, obtendremos información sobre el momento de la publicación y el título del artículo. Todos los demás datos ya han sido obtenidos de nosotros, aquellos que lo deseen pueden consultar la parte anterior.

Como resultado, tenemos esta función:

def get_article_data(page_link): data_html = get_as_str(page_link) soup = BeautifulSoup(data_html, 'html.parser') str_log = "" # Get datetime t = soup.find("span", {"class": "post__time"}) if t is None: return str_log += t['data-time_published'] + ',' # Get title and link url = soup.find("meta", property="og:url") url_str = url["content"] if url else "-" title = soup.find("meta", property="og:title") title_str = title["content"] if title else "-" str_log += '{},"{}",'.format(url_str, title_str.encode('utf8')) # Extract other parameters (rating, etc) str_log += extract_as_csv(data_html) print(str_log) return str_log

El resultado de la función será una línea del formulario '2007-06-12T12: 58Z, https: //habr.com/en/post/35001/, "¿Cómo te sientes acerca del plagio?", Votos: 0, votesplus: 0, votesmin: 0 , marcadores: 0, vistas: 161, comentarios: 1 ', que es fácil de guardar en un archivo csv.

Además, como dicen, una cuestión de tecnología. Afortunadamente para nosotros, todos los artículos sobre Habré tienen una numeración de extremo a extremo, por lo que no fue difícil encontrar el rango de fechas deseado escribiendo (por cierto, aquellos que deseen hacer “arqueología digital” pueden leer los artículos con los números https://habr.com/en/post/1 / y https://habr.com/ru/post/2/ , publicado ya en 2006). Luego solo quedaba iniciar nuestro analizador en un bucle y dejarlo durante la noche (para no cargar el servidor, se agregó una pausa entre las solicitudes, por lo que el proceso no fue muy rápido).

Hubo dudas sobre los blogs corporativos, pero resultó que tienen la misma numeración, justo cuando abres el enlace, se produce una redirección. Para que todos los datos se hayan descargado por completo, no se perdió nada.

Para toda la muestra, haremos diferentes solicitudes y veremos qué sucedió. La tecnología y el código fuente se describieron en la segunda parte , aquellos que lo deseen pueden estudiar la técnica con más detalle.

Resultados

Bono

Un pequeño bono prometido para aquellos que han leído hasta aquí. Es interesante considerar una calificación similar hace 10 años. 10 , 2008 .

-20 2008

Java 1084000 , 58 , +113.0/-7.0
BASH. 1 817000 , 114 , +135.0/-11.0
REST 484000 , 74 , +78.0/-7.0
471000 , 130 , +91.0/-41.0
jQuery . 3. AJAX 369000 , 36 , +71.0/-6.0
Java 352000 , 50 , +39.0/-5.0
, ? 348000 , 28 , +131.0/-8.0
- 336000 , 30 , +61.0/-1.0
Python — . 3. , , . 318000 , 58 , +38.0/-8.0
() 293000 , 158 , +103.0/-5.0
jQuery 233000 , 83 , +0.0/-0.0
putty ssh Windows 233000 , 10 , +0.0/-0.0
CSS Font-Size: em vs. px vs. pt vs. percent 232000 , 136 , +75.0/-12.0
CSS Reset 232000 , 102 , +85.0/-15.0
vs. 226000 , 160 , +4.0/-0.0
JavaScript 226000 , 86 , +131.0/-12.0
JavaScript — ? 225000 , 72 , +16.0/-3.0
. 214000 , 136 , +117.0/-6.0
MySQL 190000 , 49 , +0.0/-0.0
(VIEW) MySQL 173000 , 22 , +104.0/-1.0

-20 2008

, : Trojan-Downloader.Win32.Tiny , 118 , +351.0/-14.0
, 247 , +260.0/-12.0
, 74 , +229.0/-9.0
. ... , 212 , +214.0/-8.0
Hello, ! , 81 , +208.0/-7.0
— Toshiba Libretto 50ct (1997 ..) , 256 , +205.0/-8.0
, 197 , +191.0/-6.0
, 96 , +183.0/-7.0
'' , 187 , +162.0/-5.0
, 66 , +155.0/-6.0
120 dpi em , 65 , +150.0/-7.0
, Singularity, , 197 , +146.0/-3.0
, 227 , +146.0/-3.0
Pionen — , 105 , +141.0/-0.0
MySQL Performance real life Tips and Tricks , 93 , +141.0/-6.0
Xbox 360 , 77 , +135.0/-1.0
MySQL , 81 , +135.0/-4.0
Touch, MultiTouch - , 54 , +133.0/-2.0
- — , 147 , +133.0/-4.0
, , 110 , +131.0/-5.0

-20 2008

" ?" 5300 , +253.0/-29.0
Y no son paralelos) 6200 vistas, calificación + 256.0 / -22.0
TOP 10 factores más molestos para un programador 7800 vistas, calificación + 297.0 / -22.0
Muerto con trenzas. Y silencio ... 5900 visitas, calificación + 214.0 / -8.0 ¿
Derrota a Google? Es facil! 5000 vistas, calificación + 206.0 / -38.0
Pequeño, pero eliminado : Trojan-Downloader.Win32.Tiny 13300 vistas, calificación + 351.0 / -14.0
Marcado. Transitional vs Strict 5400 vistas, calificación + 142.0 / -8.0
Pionen - Centro de datos subterráneo 5700 vistas, calificación + 141.0 / -0.0 ¡
Feliz cumpleaños a Google! 5300 vistas, calificación + 0.0 / -0.0
Touch, MultiTouch y algo más 5700 , +133.0/-2.0
5500 , +133.0/-7.0
, Singularity, 6400 , +146.0/-3.0
-, ! 8200 , +241.0/-67.0
CAPTCHA 7400 , +0.0/-0.0
404 6200 , +172.0/-50.0
PC — Memory Latency 6600 , +135.0/-7.0
Unix 5500 , +107.0/-5.0
' ' ASUS Eee PC 1000H 9300 , +194.0/-23.0
Google Microsoft 9200 , +180.0/-11.0
, 5600 , +117.0/-15.0

-20 2008

38 10400 , 677
- 32600 , 585
vs. 226000 , 523
MySQL 28700 , 490
17300 , 478
MySQL Performance real life Tips and Tricks 27900 , 453
, 130000 , 429
Doctrine 55600 , 412
pChart — PHP 52800 , 407
SVN 150000 , 401
() 293000 , 401
- 336000 , 396
, . 1 - . 1600 , 374
(VIEW) MySQL 173000 , 359
14 Web- 56100 , 357
25 2200 , 347
MySQL Query Cache 82800 , 342
-: Sphinx, Apache Lucene, Xapian 46800 , 340
MySQL JOIN 120000 , 329
Synergy — 55400 , 327

-20 2008

youtube mp4 61 , 179
39- . , . 231 , 768
RSS. 104 , 432
9- email 76 , 318
, . 1 - . 374 , 1600
Samorost -- 62 , 319
JS: , 104 , 559
Google Maps — 48 , 284
. . 48 , 285
84 , 526
25 347 , 2200
76 , 558
Site Helper 94 , 702
59 , 472
30 , , 257 , 2100
, . 1 42 , 349
( ) 78 , 675
jQuery ContextMenu — Opera 31 , 297
favicon 25 , 246
'' 'Create ZIP File' 20 , 202

-20 «» 2008

, 553 , +213.0/-188.0
, 719 , +389.0/-184.0
QIP Infium , 213 , +293.0/-182.0
Chrome , 82 , +264.0/-143.0
. , 178 , +223.0/-131.0
. , 80 , +240.0/-130.0
, 62 , +164.0/-121.0
Vkontakte , 105 , +169.0/-118.0
— №1. — ! — , 277 , +246.0/-116.0
... , 38 , +141.0/-111.0
Gay Test v.3 , 72 , +116.0/-110.0
, 134 , +261.0/-109.0
Gay Test v.2 , 226 , +312.0/-109.0
, 90 , +158.0/-99.0
! , 133 , +147.0/-92.0
2012? O_o , 229 , +113.0/-92.0
? , 115 , +170.0/-91.0
iPhone 3G , 33 , +99.0/-88.0
, ? , 122 , +115.0/-87.0
, 102 , +92.0/-87.0

-20 2008

Hello, world! 2194 , 10300
- 728 , 283
719 , 15300
, Google Chrome (k ) ! 652 , 1400
- Chrome 645 , 2000
Ubuntu 8.10 Final 592 , 1400
553 , 1400
№1. ? 530 , 3500
... 518 , 3600
... 486 , 3900
! :-) 474 , 630
470 , 212
. 465 , 2000
Mac' PC 451 , 739
? 447 , 11600
PHP 446 , 2600
ICQ#1 415 , 1000
Fallout 3 PC 410 , 179
Qt 400 , 18700
' ' 389 , 24100

-20 2008

, 553 , +213.0/-188.0
, 719 , +389.0/-184.0
QIP Infium , 213 , +293.0/-182.0
Chrome , 82 , +264.0/-143.0
. , 178 , +223.0/-131.0
. , 80 , +240.0/-130.0
, 62 , +164.0/-121.0
Vkontakte , 105 , +169.0/-118.0
— №1. — ! — , 277 , +246.0/-116.0
... , 38 , +141.0/-111.0
Ga* Test v.3 , 72 , +116.0/-110.0
, 134 , +261.0/-109.0
Ga* Test v.2 , 226 , +312.0/-109.0
, 90 , +158.0/-99.0
! , 133 , +147.0/-92.0
2012? O_o , 229 , +113.0/-92.0
? , 115 , +170.0/-91.0
iPhone 3G , 33 , +99.0/-88.0
, ? , 122 , +115.0/-87.0
Habrobydlo , 102 comentarios, calificación + 92.0 / -87.0

Conclusiones

No habrá conclusiones :) A todos les gusta leer, espero que el material sea suficiente.

Si hay otras ideas para consultas estadísticas, escriba los comentarios. Además, si los lectores lo desean, se puede publicar una calificación similar durante 4 semanas al final de cada mes.

Una calificación similar para 2017 también está disponible .

Habraiting 2018: los mejores materiales para 2018

Recogida de datos

Resultados

Bono

Conclusiones

More articles: