A experiência de bloquear a publicidade on-line na rede local da empresa

Olá, Khabrovites! Tendo recebido a tarefa da gerência de bloquear a publicidade em sites da Internet para os funcionários, decidi abordar o processo de maneira criativa: para descobrir como esse ou aquele anúncio é tecnicamente difundido, que métodos de bloqueio existem, seus prós e contras. Também cito como exemplo a implementação do bloqueio no nível do gateway, usando o Traffic Inspector Next Generation, bem como o uso para esses fins no nível local da opção de bloquear anúncios nos Kaspersky Internet Security (doravante - KIS) e nos aplicativos de navegador AdBlock e Adblock Plus. O artigo será interessante para administradores de sistema e outros especialistas que trabalham com redes locais.




Por que, na minha opinião, o bloqueio de anúncios é compreensível: aumentar a velocidade de carregamento da página e o consumo de tráfego, combater os contêineres de plug-in que consomem memória e scripts espiões que monitoram as ações do usuário. E o mais importante, o motivo pelo qual a gerência levantou essa questão é uma distração: a publicidade desloca a atenção do funcionário da tarefa que está sendo executada para uma oferta tentadora, geralmente escolhida especialmente por algoritmos astutos. A propósito, a cada dois anos, o número de computadores com anúncios bloqueados no mundo triplica .

Primeiro, em poucas palavras, como bloquear anúncios .

Em primeiro lugar, existem aplicativos de navegador que usam dezenas de algoritmos e esquemas diferentes para cada tipo de conteúdo e até para alguns sites individuais (Facebook, por exemplo). Os cortadores mais populares são o AdBlock e o Adblock Plus (a seguir denominado ADP). Na minha opinião, o ADP é mais eficaz deles, mas o conteúdo útil às vezes cai sob sua poderosa pista de patinação (mais sobre isso no final). Para mim, a desvantagem de todas essas soluções é que elas são instaladas em cada computador e, além disso, em cada navegador. Quando você tem centenas de computadores na LAN, isso se torna um problema.

Em segundo lugar, muitos antivírus (por exemplo, usamos o Kaspersky) têm uma opção integrada para bloquear anúncios. A vantagem desse método é que, como você usa um antivírus, não precisa instalar nada no computador - basta ativar a função no menu. Mas, como essa função não é básica, funciona pior do que aplicativos especialmente adaptados para esse negócio.

Em terceiro lugar, você pode cortar anúncios com um gateway de rede . O bloqueio ocorre devido ao redirecionamento de solicitações HTTP de sites de publicidade para o endereço 0.0.0.0. Para mim, uma grande vantagem é que o bloqueio funciona imediatamente para toda a rede local. A principal desvantagem é que você precisa monitorar a relevância do banco de dados de endereços de publicidade e, se necessário, adicioná-los manualmente. A segunda desvantagem é que apenas um mecanismo de bloqueio é usado - para solicitações HTTP e, afinal, nem todos os tipos de publicidade os utilizam.

Olhando para o futuro, direi que na minha LAN utilizo os três métodos - eles se complementam bem. Os detalhes estão no final do artigo e agora vamos ver quais são os tipos de publicidade .

SEO e todos os tipos de e-mails não são interessantes para nós no momento. Estamos interessados ​​em publicidade, que é transmitida junto com conteúdo útil. De acordo com esse princípio, eu o dividi nos seguintes tipos:

1. Blocos de serviços de anúncios incorporados , como Yandex Advertising Network e Google.Adsense.

Estes são módulos de texto, texto e gráfico e apenas banners colocados pelos proprietários das plataformas para ganhos. Na minha opinião, esse é o tipo de publicidade mais prejudicial, porque: a) geralmente imita um conteúdo útil e se mistura a ele para aumentar a clicabilidade; b) mostra ao usuário em que ele tem mais probabilidade de se interessar (todos sabemos sobre big data, fator comportamental etc., etc.); c) mostra o que o usuário (no nosso caso, o funcionário) não precisa atualmente, ou seja, distrai o trabalho.

Vamos usar alguns recursos com esse tipo de publicidade:

1.1 sharpologist.com/2018/08/whats-menthol-shaving-stuff.html
O banner do Google foi cuidadosamente cortado usando as ferramentas KIS - o layout não foi afetado, nenhum vazio foi formado:



1.2 Além disso, existem blocos que usam solicitações de usuário que ele inseriu anteriormente no mecanismo de pesquisa (por exemplo, no zmoe.ru ):



1.3 O www.bestfree.ru é um ótimo exemplo de um site de SEO re-otimizado que deveria estar repleto de publicidade. Caixas vermelhas indicam blocos de anúncios (veja a imagem à esquerda). Todos eles foram bloqueados (veja à direita):







1.4 Um exemplo mal sucedido de bloqueio de anúncios é o Mail.ru. Na página da caixa de entrada, o Yandex Advertising System se manifesta duas vezes: a linha de informações acima da lista de letras e o bloco de anúncios à esquerda. Nem uma única inserção foi bloqueada por nenhum dos métodos que eu uso:



2. Troca de banners, teaser, redes RTB como Rotaban, advmaker.net, Marketgid, etc.
Eles não podem exibir anúncios personalizados, como Google ou Yandex, mas consideram isso importante.

2.1 O banner em adindex.ru (rede de anúncios Adriver) foi cortado pelo aplicativo de navegador AdBlock:



Observe que o AdBlock corta completamente a div e o iframe, para que nem um retângulo branco permaneça.

2.2 Aqui está um exemplo de outro bloco de rede AdIndex que simula conteúdo que foi cortado de maneira tão fria por um plug-in de navegador:



3. Pop-ups

O formato mais furioso de publicidade, especialmente quando uma janela pop-up não permite que você entre no site ou fecha parte do conteúdo. Dos sites com pop-ups, não achei nada decente para o teste, então usei o megashara.com inútil. Os aplicativos do navegador fizeram um excelente trabalho. Mas com um gateway de rede não é tão simples. Por um lado, o “megashar” envia solicitações HTTP que teoricamente podem bloquear pop-ups, mas, por outro lado, constantemente emite espelhos com URLs diferentes, portanto, na prática, isso não pode ser feito. E se os pop-ups funcionarem via JavaScript, no nível do gateway, é impossível bloqueá-los. (No entanto, o megashara.com na minha LAN está completamente bloqueado.)

4. Programas de afiliados

Geralmente eles são distribuídos por grandes lojas online e serviços de geração de leads. Por exemplo, se você é proprietário de um portal sobre livros, pode usar o programa de afiliados Labyrinth e inserir o código no site - a cada transição, a loja on-line pagará seu dinheiro. Então, por exemplo, o site marketopedia.ru chegou . Aqui está a aparência do módulo de afiliado:



Uma coisa aparentemente tão simples não poderia ser superada por nada, porque essa economia funciona em JavaScript. No entanto, esse tipo de programa de afiliado é bastante raro e, como regra, parece não agressivo - você pode desistir da mão dela.

O programa de afiliados da Amazon em sharpologist.com foi bloqueado com sucesso por aplicativos de navegador:



5. Publicidade no YouTube.

Primeiro de tudo, são vídeos que precedem a exibição do vídeo principal, vídeos que interrompem a exibição e anúncios aparecendo sobre o vídeo.

Tirei o primeiro vídeo que recebi - a princípio, um vídeo publicitário apareceu:



O vídeo promocional estava prestes a ser transmitido por um minuto inteiro; é bom que você possa pular em 10 segundos. Então eu vi o recheio completo: tanto o banner quanto os comerciais embutidos:



Eu inicio o ADP - e pronto, não há nada disso:



6. Banners embutidos

Do ponto de vista do bloqueio, este é o caso mais difícil, porque o bloqueador, de fato, precisa banir a imagem. Como encontrar o anúncio entre todas as imagens da página sem afetar o resto? Nos aplicativos de navegador, há uma análise de seus tamanhos, porque os banners, em regra, têm tamanhos padrão. Obviamente, esse método não funcionará se o banner tiver proporções não padrão.

6.1 Para começar, peguei o cnews.ru, eis como estão as coisas:



Como você pode ver, o AdBlock cortou com êxito todos os banners, incluindo os próprios anúncios cnews.ru :)

6.2 Um exemplo de menos sucesso é um banner de afiliado no lezvie.info:



Não foi bloqueado por nenhum dos nossos filtros. Nós olhamos para o código:



As dimensões 300 x 416 são um formato não padrão (em qualquer caso, não está na lista de tamanhos padrão do Google.Adsense ), portanto, o banner permaneceu previsivelmente no lugar.

7. Pesquise publicidade contextual

Na minha opinião, essa é a forma mais inofensiva de publicidade que eu não bloquearia. Se uma pessoa estiver procurando algo em um mecanismo de pesquisa e exibir anúncios relevantes, não há nada de errado nisso. Pelo contrário, eles ajudam a encontrar o que é necessário, principalmente se as solicitações forem comerciais.
Por diversão, verifiquei se os anúncios contextuais estão bloqueando os aplicativos do navegador:



Como você pode ver, anúncios e banners foram bloqueados, mas havia ofertas do Yandex.Market.

8. Publicidade nas redes sociais

Não vou desenvolver este tópico neste artigo, porque acredito (e a gerência concorda comigo) que as redes sociais em geral devem ser bloqueadas no local de trabalho.

O que é melhor bloquear?

A maneira mais eficaz foi bloquear o aplicativo do navegador, e o ADP provou ser melhor que o AdBlock. Mas há três pontos que me confundem bastante.

Problema ADP No. 1 Corta tudo em uma linha, incluindo conteúdo útil. Tomemos, por exemplo, o site vedomosti.ru - ele não possui apenas publicidade, mas também banners de semipublicidade com anúncios de eventos que podem ser úteis para o leitor. E existem banners de links completamente inofensivos. Tudo é cortado para zero.



O ícone ADP no cabeçalho do navegador mostra quantos banners foram cortados no plug-in nesta página, mas que bom é? O sentimento de que você não vê algo importante, bloqueado por engano, não deixa.

Problema no ADP nº 2 Sites que solicitam desativar o bloqueio de anúncios antes de exibir o conteúdo. E esses não são alguns recursos ruins, mas sites como o forbes.com. O WordPress ainda possui um plugin Block Adblock que bloqueia o conteúdo para quem usa o "Adblock".



Com um bloqueador de gateway, é claro, não existe esse problema.

Problema Os plug-ins do ADP No. 3 devem ser instalados em cada computador e em cada navegador. E não é o suficiente para instalar - é preciso percorrer cada solicitação: alguém bloqueou algo útil, alguém não abre o site. Eu preciso disso?

O bloqueio antivírus funciona pior que o ADP, mas melhor do que encaminhar solicitações HTTP no nível do gateway. Nada mais a dizer aqui.

O bloqueio por um gateway de rede , como eu disse, deve-se ao redirecionamento de solicitações direcionadas a sites com anúncios para o endereço 0.0.0.0. Usei o hardware do Traffic Inspector Next Generation S100 em execução no OPNsense.

Descreverei em poucas palavras como configuro a fechadura (instruções aqui >> ). Usando o ssh, fui ao hardware e instalei o pacote curl (https://curl.haxx.se/) com o comando: pkg install curl.



Em seguida, ele lançou o script para inicializar a lista de recursos da web bloqueados update-hosts.sh . Depois de criar a lista, iniciei a função DNS não vinculado para o Traffic Inspector Next Generation, selecionado na interface da web “Serviços” -> “DNS não vinculado” -> “Configurações gerais”. Incluído um resolvedor de DNS, encaminhamento de DNS, registro de DHCP. Nas configurações do usuário, ele especificou o arquivo da lista de recursos da web bloqueados /var/unbound/ad-blacklist.conf. Configurações salvas. Agora, o pedaço de ferro se tornou um servidor DNS.



Em seguida, ele instalou o servidor DNS recém-criado como servidor DHCP: "Serviços" -> "DHCP v4" -> "LAN" -> "Ativar servidor DHCP na interface da LAN". Nos computadores dos usuários, os servidores DHCP devem ser especificados com o Traffic Inspector Next Generation, e o pedaço de ferro será automaticamente registrado como servidor DNS:



Agora, no caso de redirecionar para páginas com publicidade, ele está bloqueado.
A lista de recursos bloqueados é baixada por padrão no arquivo http://winhelp2002.mvps.org/hosts.txt . Mas tenho muitas perguntas para esta lista. Por exemplo, por que, por padrão, não existem endereços que o Yandex e o Google usam em suas redes de anúncios? Isso significa que o tipo de publicidade mais irritante (consulte o parágrafo 1) não será bloqueado. Eu tive que registrá-los manualmente. Para adicionar um novo endereço para bloqueio, é necessário adicionar um endereço no arquivo de configuração no formato: server: local-data: "<endereço do recurso bloqueado> A 0.0.0.0" e reinicie o serviço DNS Não Vinculado.

Em vez de um currículo

Minha receita para bloquear anúncios em uma rede local é simples:

1. Ative o bloqueio no nível do gateway.

2. Registramos as redes de publicidade Yandex e Google nos endereços bloqueados (ou garantimos que eles estejam presentes lá), bem como nos outros endereços que você deseja.

3. Informamos aos funcionários que, mediante solicitação individual, eles podem instalar um bloqueador de anúncios e instalá-lo para aqueles que realmente precisam.

4. Bloqueamos as redes sociais no nível do gateway, sites de busca de emprego e outros recursos inadequados e, em seguida, o problema de bloquear anúncios neles desaparecerá por si só :)

PS Como escrevi acima, a lista de solicitações HTTP bloqueadas no Traffic Inspector Next Generation é extraída do arquivo winhelp2002.mvps.org/hosts.txt , mas essa lista não está tão completa quanto poderia ser. Se os leitores encontrarem especialistas prontos para uso que sabem onde obter listas mais relevantes (especialmente levando em conta as especificidades do Runet), escreva nos comentários. Se essas listas existirem, eu as escreverei no script. A propósito, o suporte técnico me disse que o OPNsense está discutindo a adição de um plug-in especial para gerenciar essas listas, mas até agora isso não está em produção.