La experiencia de bloquear la publicidad en línea en la red local de la compañía.

¡Hola, Khabrovites! Habiendo recibido de la gerencia la tarea de bloquear la publicidad en los sitios de Internet para los empleados, decidí abordar el proceso de manera creativa: averiguar cómo se transmite técnicamente este o aquel anuncio, qué métodos de bloqueo existen, sus ventajas y desventajas. También doy como ejemplo la implementación del bloqueo en nuestro nivel de puerta de enlace, utilizando el Traffic Inspector Next Generation, así como el uso para estos fines en el nivel local de la opción de bloquear anuncios en Kaspersky Internet Security (en adelante, KIS) y las aplicaciones de navegador AdBlock y Adblock Plus. El artículo será interesante para los administradores de sistemas y otros especialistas que trabajan con redes locales.




Por qué, en mi opinión, el bloqueo de anuncios es comprensible: para aumentar la velocidad de carga de la página y el consumo de tráfico, combatir los contenedores de complementos que consumen memoria y espiar las secuencias de comandos que supervisan las acciones de los usuarios. Y lo más importante, la razón por la cual la gerencia planteó este problema es un factor de distracción: la publicidad desvía la atención del empleado de la tarea que se está realizando a una oferta tentadora, a menudo especialmente seleccionada para él mediante algoritmos astutos. Por cierto, cada dos años la cantidad de computadoras con anuncios bloqueados en el mundo se triplica .

Primero, en pocas palabras, cómo bloquear anuncios .

En primer lugar, hay aplicaciones de navegador que utilizan docenas de algoritmos y esquemas diferentes para cada tipo de contenido e incluso para algunos sitios individuales (Facebook, por ejemplo). Los cortadores más populares son AdBlock y Adblock Plus (en lo sucesivo, ADP). En mi opinión, ADP es más efectivo de ellos, pero el contenido útil a veces cae bajo su poderosa pista de patinaje (más sobre eso al final). Para mí, la desventaja de todas estas soluciones es que están instaladas en cada computadora y, además, en cada navegador. Cuando tienes cientos de computadoras en LAN, esto se convierte en un problema.

En segundo lugar, muchos antivirus (por ejemplo, usamos Kaspersky) tienen una opción integrada para bloquear anuncios. La ventaja de este método es que, dado que usa un antivirus, no necesita instalar nada en la computadora, solo active la función en el menú. Pero dado que esta función no es básica, funciona peor que las aplicaciones especialmente diseñadas para este negocio.

En tercer lugar, puede cortar anuncios con una puerta de enlace de red . El bloqueo se produce debido a la redirección de solicitudes HTTP desde sitios publicitarios a la dirección 0.0.0.0. Para mí, una gran ventaja es que el bloqueo funciona de inmediato para toda la red local. El principal inconveniente es que debe controlar la relevancia de la base de datos de direcciones publicitarias y, si es necesario, agregarlas manualmente. El segundo inconveniente es que solo se usa un mecanismo de bloqueo: para las solicitudes HTTP y, después de todo, no todos los tipos de publicidad las usan.

Mirando hacia el futuro, diré que en mi LAN utilizo los tres métodos: se complementan bien. Los detalles se encuentran al final del artículo, y ahora veamos qué tipos de publicidad son .

El SEO y todo tipo de correos electrónicos no son interesantes para nosotros en este momento. Estamos interesados ​​en la publicidad, que se transmite junto con contenido útil. De acuerdo con este principio, lo dividí en los siguientes tipos:

1. Unidades publicitarias integradas de servicios como Yandex Advertising Network y Google.Adsense.

Estos son módulos de texto, texto y gráficos y solo pancartas que los propietarios de las plataformas colocan para obtener ganancias. En mi opinión, este es el tipo de publicidad más dañino porque: a) a menudo imita contenido útil y se mezcla con él para aumentar la posibilidad de hacer clic; b) muestra al usuario lo que es más probable que le interese (todos sabemos sobre big data, el factor de comportamiento, etc., etc.); c) muestra lo que el usuario (en nuestro caso, el empleado) no necesita actualmente, es decir, lo distrae del trabajo.

Tomemos algunos recursos con este tipo de publicidad:

1.1. sharpologist.com/2018/08/whats-menthol-shaving-stuff.html
El banner de Google se cortó cuidadosamente utilizando herramientas KIS: el diseño no se vio afectado, no se formaron vacíos:



1.2. Además, hay bloques que utilizan solicitudes de usuario que ingresó anteriormente en el motor de búsqueda (por ejemplo, en zmoe.ru ):



1.3. www.bestfree.ru es un gran ejemplo de un sitio SEO optimizado que se esperaba que estuviera repleto de publicidad. Los cuadros rojos indican bloques de anuncios (ver imagen a la izquierda). Todos fueron bloqueados (ver a la derecha):







1.4. Un ejemplo infructuoso de bloqueo de anuncios es Mail.ru. En la página de la bandeja de entrada, el Sistema de Publicidad Yandex se manifiesta dos veces: la línea de información sobre la lista de letras y el bloque de anuncios a la izquierda. Ningún inserto fue bloqueado por ninguno de los métodos que uso:



2. Intercambio de pancartas , teaser, redes RTB como Rotaban, advmaker.net, Marketgid, etc.
No pueden mostrar anuncios personalizados, como Google o Yandex, pero lo toman por su importancia.

2.1. La aplicación del navegador AdBlock recortó el banner de adindex.ru (red de anuncios de Adriver):



Tenga en cuenta que AdBlock corta completamente el div y el iframe, de modo que incluso un rectángulo blanco no permanece.

2.2. Aquí hay un ejemplo de otro bloque de red de AdIndex que imita contenido que fue cortado con la misma intensidad por un complemento de navegador:



3. Ventanas emergentes

El formato de publicidad más furioso, especialmente cuando una ventana emergente le impide ingresar al sitio o cierra parte del contenido. De los sitios con ventanas emergentes, no encontré nada decente para la prueba, así que utilicé la basura megashara.com. Las aplicaciones de navegador hicieron un excelente trabajo. Pero con una puerta de enlace de red no es tan simple. Por un lado, el "megashar" envía solicitudes HTTP que teóricamente pueden bloquear ventanas emergentes, pero por otro lado, constantemente emite espejos con diferentes URL, por lo que en la práctica esto no se puede hacer. Y si las ventanas emergentes funcionan a través de JavaScript, entonces, a nivel de la puerta de enlace, es imposible bloquearlas en absoluto. (Sin embargo, megashara.com en mi LAN está completamente bloqueado).

4. Programas de afiliados

Por lo general, se distribuyen en grandes tiendas en línea y servicios de generación de leads. Por ejemplo, si usted es el propietario de un portal sobre libros, puede utilizar el programa de afiliados de Labyrinth y colocar su código en su sitio web; en cada transición, la tienda en línea le pagará dinero. Entonces, por ejemplo, llegó el sitio web marketopedia.ru . Así es como se ve el módulo de afiliados:



Una cosa tan aparentemente simple no podría ser superada por nada porque esta economía funciona en JavaScript. Sin embargo, este tipo de programa de afiliación es bastante raro y, por regla general, parece no agresivo: puede renunciar a su mano.

El programa de afiliación de Amazon en sharpologist.com fue bloqueado con éxito por las aplicaciones del navegador:



5. Publicidad en YouTube.

En primer lugar, se trata de videos que preceden la visualización del video principal, videos que interrumpen la visualización y anuncios que aparecen sobre el video.

Tomé el primer video que obtuve , al principio apareció un video publicitario:



El video promocional estaba a punto de transmitirse por un minuto entero; es bueno que puedas omitirlo en 10 segundos. Luego vi el relleno completo: tanto el banner como los comerciales incorporados:



Lanzo ADP, y listo, no hay nada de esto:



6. Banners incorporados

Desde el punto de vista del bloqueo, este es el caso más difícil, porque el bloqueador, de hecho, debe prohibir la imagen. ¿Cómo encontrar el anuncio entre todas las imágenes de la página sin afectar al resto? En las aplicaciones de navegador, hay un análisis de sus tamaños, porque los banners, como regla, tienen tamaños estándar. Obviamente, este método no funcionará si el banner tiene proporciones no estándar.

6.1. Para comenzar, tomé cnews.ru, así es como van las cosas:



Como puede ver, AdBlock cortó con éxito todos los banners, incluidos los propios anuncios cnews.ru :)

6.2. Un ejemplo menos exitoso es un banner de afiliado en lezvie.info:



No fue bloqueado por ninguno de nuestros filtros. Nos fijamos en el código:



Dimensiones 300x416 es un formato no estándar (en cualquier caso, no está en la lista de tamaños estándar de Google.Adsense ), por lo que el banner se mantuvo en su lugar.

7. Buscar publicidad contextual

En mi opinión, esta es la forma más inofensiva de publicidad que no bloquearía en absoluto. Si una persona está buscando algo en un motor de búsqueda y se le muestran anuncios relevantes, eso no tiene nada de malo. Por el contrario, ayudan a encontrar lo que se necesita, especialmente si las solicitudes son comerciales.
Por diversión, analicé si los anuncios contextuales están bloqueando las aplicaciones del navegador:



Como puede ver, los anuncios y banners fueron bloqueados, pero hubo ofertas de Yandex.Market.

8. Publicidad en redes sociales.

No desarrollaré este tema en este artículo, porque creo (y la gerencia está de acuerdo conmigo) que las redes sociales en general deben bloquearse en el lugar de trabajo.

¿Qué es mejor bloqueo?

La forma más efectiva resultó ser el bloqueo de la aplicación del navegador, y ADP demostró ser mejor que AdBlock. Pero hay tres puntos que me confunden mucho.

Problema ADP No. 1 Corta todo en una fila, incluido el contenido útil. Tomemos, por ejemplo, el sitio vedomosti.ru: en él no solo hay pancartas puramente publicitarias, sino también semi-publicitarias con anuncios de eventos que pueden ser útiles para el lector. Y hay banners de enlaces completamente inofensivos. Todo se corta a cero.



El ícono de ADP en el encabezado del navegador muestra cuántos banners se cortaron en el complemento de esta página, pero ¿de qué sirve? El sentimiento de que no ves algo importante, bloqueado por error, no se va.

Problema ADP # 2 Sitios enfrentados que solicitan deshabilitar el bloqueo de anuncios antes de mostrar contenido. Y estos no son algunos recursos aburridos, sino sitios como forbes.com. WordPress incluso tiene un complemento Block Adblock que bloquea el contenido para aquellos que usan el "Adblock".



Con un bloqueador de puerta de enlace, por supuesto, no hay tal problema.

Problema ADP No. 3 Los complementos deben instalarse en cada computadora y en cada navegador. Y no es suficiente con la instalación, entonces debe ejecutar cada solicitud: alguien ha bloqueado algo útil, alguien no abre el sitio. ¿Lo necesito?

El bloqueo antivirus funciona peor que ADP, pero mejor que reenviar solicitudes HTTP a nivel de puerta de enlace. Nada más que decir aquí.

El bloqueo por una puerta de enlace de red , como dije, se debe a la redirección de solicitudes dirigidas a sitios con anuncios a la dirección 0.0.0.0. Utilicé el hardware del Inspector de tráfico Next Generation S100 ejecutándose en OPNsense.

En pocas palabras, describiré cómo configuro el bloqueo (instrucciones aquí >> ). Usando ssh, fui al hardware e instalé el paquete curl (https://curl.haxx.se/) con el comando: pkg install curl.



Luego lanzó el script para inicializar la lista de recursos web bloqueados update-hosts.sh . Después de crear la lista, inicié la función DNS sin consolidar para el Inspector de tráfico de próxima generación, seleccionada en la interfaz web "Servicios" -> "DNS sin consolidar" -> "Configuración general". Incluye un solucionador DNS, reenvío DNS, registro DHCP. En la configuración del usuario, especificó el archivo de la lista de recursos web bloqueados /var/unbound/ad-blacklist.conf. Configuraciones guardadas. Ahora la pieza de hierro se ha convertido en un servidor DNS.



Luego instaló el servidor DNS recién creado como un servidor DHCP: “Servicios” -> “DHCP v4” -> “LAN” -> “Habilitar el servidor DHCP en la interfaz LAN”. En las computadoras de los usuarios, los servidores DHCP deben especificarse Traffic Inspector Next Generation, luego la pieza de hierro se registrará automáticamente como un servidor DNS:



Ahora, en caso de redirigir a páginas con publicidad, está bloqueado.
La lista de recursos bloqueados se descarga por defecto del archivo http://winhelp2002.mvps.org/hosts.txt . Pero tengo muchas preguntas para esta lista. Por ejemplo, ¿por qué por defecto no hay direcciones que Yandex y Google usen en sus redes publicitarias? Esto significa que el tipo de publicidad más molesto (ver párrafo 1) no será bloqueado. Tuve que registrarlos manualmente. Para agregar una nueva dirección para el bloqueo, es necesario agregar una dirección en el archivo de configuración en el formato: servidor: datos locales: "<dirección del recurso bloqueado> A 0.0.0.0" y reiniciar el servicio DNS no vinculado.

En lugar de un curriculum vitae

Mi receta para bloquear anuncios en una red local es simple:

1. Active el bloqueo en el nivel de la puerta de enlace.

2. Registramos las redes de publicidad de Yandex y Google en direcciones bloqueadas (o nos aseguramos de que estén presentes allí), así como de otras direcciones que desee.

3. Informamos a los empleados que, previa solicitud individual, pueden instalar un bloqueador de anuncios e instalarlo para aquellos que realmente lo necesitan.

4. Bloqueamos las redes sociales a nivel de puerta de enlace, sitios de búsqueda de trabajo y otros recursos inapropiados, y luego el problema de bloquear anuncios en ellos desaparecerá por sí solo :)

PD Como escribí anteriormente, la lista de solicitudes HTTP bloqueadas en Traffic Inspector Next Generation se extrae del archivo winhelp2002.mvps.org/hosts.txt , pero esta lista no es tan completa como podría ser. Si los lectores encontrarán especialistas listos para usar que sepan dónde obtener listas más relevantes (especialmente teniendo en cuenta los detalles del Runet), escriba los comentarios. Si existen tales listas, las escribiré en el guión. Por cierto, el soporte técnico me dijo que OPNsense está discutiendo la adición de un complemento especial para administrar tales listas, pero hasta ahora esto no está en producción.