Pengalaman memblokir iklan online di jaringan lokal perusahaan

Halo, orang Khabrovit! Setelah menerima tugas dari manajemen untuk memblokir iklan di situs Internet untuk karyawan, saya memutuskan untuk mendekati proses kreatif: untuk mengetahui bagaimana iklan ini atau itu disiarkan secara teknis, metode pemblokiran apa yang ada, pro dan kontra mereka. Saya juga memberikan contoh penerapan pemblokiran di tingkat gateway kami, menggunakan Lalu Lintas Inspektur Generasi Selanjutnya, serta penggunaan untuk tujuan ini di tingkat lokal opsi untuk memblokir iklan di Keamanan Internet Kaspersky (selanjutnya - KIS) dan aplikasi browser AdBlock dan Adblock Plus. Artikel ini akan menarik bagi administrator sistem dan spesialis lain yang bekerja dengan jaringan lokal.




Mengapa, menurut pendapat saya, memblokir iklan dapat dimengerti: untuk meningkatkan kecepatan pemuatan halaman dan konsumsi lalu lintas, untuk memerangi plugin-container yang menggunakan memori, dan skrip mata-mata yang memantau tindakan pengguna. Dan yang paling penting, mengapa manajemen mengangkat masalah ini sama sekali, adalah pengalih perhatian: iklan mengalihkan perhatian karyawan dari tugas yang dilakukan ke tawaran yang menggiurkan, seringkali dipilih secara khusus untuknya dengan algoritma yang licik. By the way, setiap dua tahun jumlah komputer dengan iklan yang diblokir di dunia berlipat tiga .

Singkatnya, singkatnya, cara memblokir iklan .

Pertama, ada aplikasi peramban yang menggunakan banyak algoritma dan skema berbeda untuk setiap jenis konten dan bahkan untuk beberapa situs individu (Facebook, misalnya). Pemotong yang paling populer adalah AdBlock dan Adblock Plus (selanjutnya disebut ADP). Menurut pendapat saya, ADP lebih efektif dari mereka, tetapi konten yang bermanfaat terkadang berada di bawah arena skating yang kuat (lebih pada akhirnya). Bagi saya, kelemahan dari semua solusi semacam itu adalah bahwa mereka diinstal pada setiap komputer dan, terlebih lagi, pada setiap browser. Ketika Anda memiliki ratusan komputer di LAN, ini menjadi masalah.

Kedua, banyak antivirus (misalnya, kami menggunakan Kaspersky) memiliki opsi bawaan untuk memblokir iklan. Keuntungan dari metode ini adalah karena Anda menggunakan antivirus, Anda tidak perlu menginstal apa pun di komputer - cukup aktifkan fungsi di menu. Tetapi karena fungsi ini tidak mendasar, ia bekerja lebih buruk daripada aplikasi yang dirancang khusus untuk bisnis ini.

Ketiga, Anda dapat memotong iklan dengan gateway jaringan . Pemblokiran terjadi karena pengalihan permintaan HTTP dari situs iklan ke alamat 0.0.0.0. Bagi saya, nilai tambah yang besar adalah pemblokiran langsung berfungsi untuk seluruh jaringan lokal. Kelemahan utama adalah Anda perlu memantau relevansi database alamat iklan dan menambahkannya secara manual jika perlu. Kelemahan kedua adalah bahwa hanya satu mekanisme pemblokiran yang digunakan - untuk permintaan HTTP, dan setelah semua, tidak semua jenis iklan menggunakannya.

Ke depan, saya akan mengatakan bahwa di LAN saya, saya menggunakan ketiga metode - mereka saling melengkapi dengan baik. Detail ada di akhir artikel, dan sekarang mari kita lihat apa jenis iklannya .

SEO dan semua jenis email di sana tidak menarik bagi kami saat ini. Kami tertarik pada iklan, yang disiarkan bersama dengan konten yang bermanfaat. Menurut prinsip ini, saya memecahnya menjadi beberapa tipe berikut:

1. Unit layanan iklan tertanam seperti Yandex Advertising Network dan Google.Adsense.

Ini adalah teks, teks dan modul grafik dan hanya spanduk yang ditempatkan oleh pemilik platform untuk mendapatkan penghasilan. Menurut pendapat saya, ini adalah jenis periklanan yang paling berbahaya, karena: a) sering meniru konten yang berguna dan bercampur dengannya untuk meningkatkan clickability; b) menunjukkan kepada pengguna apa yang paling diminati (kita semua tahu tentang data besar, faktor perilaku, dll., dll); c) menunjukkan apa yang saat ini tidak dibutuhkan oleh pengguna (dalam kasus kami, karyawan), yaitu mengalihkan perhatian dari pekerjaan.

Mari kita ambil beberapa sumber daya dengan jenis iklan ini:

1.1. sharpologist.com/2018/08/whats-menthol-shaving-stuff.html
Spanduk Google dipotong rapi menggunakan alat KIS - tata letak tidak terpengaruh, tidak ada lubang yang terbentuk:



1.2. Juga, ada blok yang menggunakan permintaan pengguna yang dia masukkan sebelumnya di mesin pencari (misalnya, di zmoe.ru ):



1.3. www.bestfree.ru adalah contoh yang bagus dari situs SEO yang dioptimalkan ulang yang diharapkan akan penuh sesak dengan iklan. Kotak merah menunjukkan unit iklan (lihat gambar di sebelah kiri). Semuanya diblokir (lihat di kanan):







1.4. Contoh pemblokiran iklan yang gagal adalah Mail.ru. Pada halaman kotak masuk, Sistem Periklanan Yandex memanifestasikan dirinya dua kali: baris informasi di atas daftar huruf dan unit iklan di sebelah kiri. Tidak ada satu insert pun yang diblokir oleh metode apa pun yang saya gunakan:



2. Pertukaran spanduk, penggoda, jaringan RTB seperti Rotaban, advmaker.net, Marketgid, dll.
Mereka tidak dapat menampilkan iklan yang dipersonalisasi, seperti Google atau Yandex, tetapi mereka menganggapnya penting.

2.1. Spanduk spanduk di adindex.ru (jaringan iklan Adriver) dipotong oleh aplikasi browser AdBlock:



Perhatikan bahwa AdBlock sepenuhnya memotong div dan iframe, sehingga bahkan persegi panjang putih tidak tetap.

2.2. Berikut adalah contoh blok jaringan AdIndex lain yang meniru konten yang sama-sama dipotong oleh plug-in browser:



3. Munculan

Format iklan yang paling geram, terutama ketika jendela sembul tidak memungkinkan Anda memasuki situs atau menutup sebagian konten. Dari situs dengan pop-up, saya tidak menemukan sesuatu yang layak untuk pengujian, jadi saya menggunakan megashara.com sampah. Aplikasi browser melakukan pekerjaan yang sangat baik. Tetapi dengan jaringan gateway tidak begitu sederhana. Di satu sisi, "megashar" mengirimkan permintaan HTTP yang secara teoritis dapat memblokir pop-up, tetapi di sisi lain, "megashar" terus-menerus mengeluarkan mirror dengan URL yang berbeda, sehingga dalam praktiknya hal ini tidak dapat dilakukan. Dan jika pop-up berfungsi melalui JavaScript, maka pada tingkat gateway tidak mungkin untuk memblokirnya sama sekali. (Namun, megashara.com di LAN saya sepenuhnya dan sepenuhnya diblokir.)

4. Program Afiliasi

Biasanya mereka didistribusikan oleh toko online besar dan layanan generasi memimpin. Misalnya, jika Anda adalah pemilik portal tentang buku, maka Anda dapat menggunakan program afiliasi Labyrinth dan menempatkan kode mereka di situs web Anda - dari setiap transisi toko online akan membayar Anda uang. Jadi, misalnya, situs web marketopedia.ru tiba . Seperti apa modul afiliasi:



Hal yang tampaknya sederhana seperti itu tidak dapat diatasi dengan apa pun karena ekonomi ini berfungsi pada JavaScript. Namun, jenis program afiliasi ini sangat jarang dan, sebagai suatu peraturan, terlihat tidak agresif - Anda dapat menyerah begitu saja.

Program afiliasi Amazon di sharpologist.com berhasil diblokir oleh aplikasi browser:



5. Beriklan di YouTube.

Pertama-tama, ini adalah video yang mendahului tayangan video utama, video yang mengganggu tayangan, dan iklan yang muncul di atas video.

Saya mengambil video pertama yang saya dapatkan - awalnya video iklan muncul:



Video promosi akan disiarkan selama satu menit penuh; ada baiknya Anda bisa melewatinya dalam 10 detik. Lalu saya melihat isian lengkap: baik spanduk maupun iklan bawaan:



Saya meluncurkan ADP - dan voila, tidak ada yang seperti ini:



6. Spanduk bawaan

Dari sudut pandang pemblokiran, ini adalah kasus yang paling sulit, karena pemblokir, pada kenyataannya, perlu melarang gambar. Bagaimana menemukan iklan di antara semua gambar di halaman tanpa memengaruhi sisanya? Dalam aplikasi browser, ada analisis ukurannya, karena spanduk, pada umumnya, memiliki ukuran standar. Jelas, metode ini tidak akan berfungsi jika spanduk memiliki proporsi yang tidak standar.

6.1. Untuk memulai, saya mengambil cnews.ru, berikut adalah beberapa hal yang terjadi dengannya:



Seperti yang Anda lihat, AdBlock berhasil memotong semua spanduk, termasuk iklan cnews.ru sendiri :)

6.2. Contoh yang kurang berhasil adalah spanduk afiliasi di lezvie.info:



Itu tidak diblokir oleh filter kami. Kami melihat kode:



Dimensi 300x416 adalah format non-standar (dalam hal apa pun, itu tidak ada dalam daftar ukuran standar Google. Adsense ), sehingga spanduk dapat diprediksi tetap terpasang.

7. Cari iklan kontekstual

Menurut pendapat saya, ini adalah bentuk iklan paling berbahaya yang tidak akan saya blokir sama sekali. Jika seseorang mencari sesuatu di mesin pencari dan mereka ditampilkan iklan yang relevan, tidak ada yang salah dengan itu. Sebaliknya, mereka membantu menemukan apa yang dibutuhkan, terutama jika permintaan komersial.
Untuk bersenang-senang, saya melihat apakah iklan kontekstual memblokir aplikasi browser:



Seperti yang Anda lihat, iklan dan spanduk diblokir, tetapi ada penawaran dari Yandex.Market.

8. Beriklan di jejaring sosial

Saya tidak akan mengembangkan topik ini dalam artikel ini, karena saya percaya (dan manajemen setuju dengan saya) bahwa jejaring sosial secara umum harus diblokir di tempat kerja.

Apa yang lebih baik memblokir?

Cara paling efektif ternyata diblokir oleh aplikasi browser, dan ADP terbukti lebih baik daripada AdBlock. Tetapi ada tiga hal yang sangat membingungkan saya.

Masalah ADP No. 1 Memotong semuanya dalam satu baris, termasuk konten yang bermanfaat. Ambil, misalnya, situs vedomosti.ru - di atasnya tidak hanya murni iklan, tetapi juga spanduk semi-iklan dengan pengumuman acara yang mungkin berguna bagi pembaca. Dan ada spanduk tautan yang benar-benar tidak berbahaya. Semuanya dipotong menjadi nol.



Ikon ADP di header browser menunjukkan berapa banyak spanduk yang dipotong pada plugin di halaman ini, tetapi apa gunanya? Perasaan bahwa Anda tidak melihat sesuatu yang penting, terhalang karena kesalahan, tidak pergi.

Masalah ADP # 2 Situs berwajah yang meminta untuk menonaktifkan pemblokiran iklan sebelum menampilkan konten. Dan ini bukan beberapa sumber daya yang lemah, tetapi situs-situs seperti forbes.com. WordPress bahkan memiliki plugin Block Adblock yang memblokir konten untuk mereka yang menggunakan "Adblock".



Dengan pemblokir gateway, tentu saja, tidak ada masalah seperti itu.

Masalah ADP No. 3 Plug-in harus diinstal pada setiap komputer dan pada setiap browser. Dan itu tidak cukup untuk menginstal - maka Anda harus berkeliling untuk setiap permintaan: seseorang telah memblokir sesuatu yang bermanfaat, seseorang tidak membuka situs. Apakah saya membutuhkannya?

Pemblokiran antivirus berfungsi lebih buruk daripada ADP, tetapi lebih baik daripada meneruskan permintaan HTTP di tingkat gateway. Tidak ada lagi yang bisa dikatakan di sini.

Pemblokiran oleh gateway jaringan , seperti yang saya katakan, adalah karena pengalihan permintaan yang diarahkan ke situs-situs dengan iklan ke alamat 0.0.0.0. Saya menggunakan perangkat keras Traffic Inspector Next Generation S100 yang berjalan di OPNsense.

Singkatnya, saya akan menjelaskan bagaimana cara mengatur kunci (instruksi di sini >> ). Menggunakan ssh, saya pergi ke perangkat keras dan menginstal paket curl (https://curl.haxx.se/) dengan perintah: pkg install curl.



Kemudian ia meluncurkan skrip untuk menginisialisasi daftar pembaruan sumber daya web-hosts.sh . Setelah membuat daftar, saya meluncurkan fungsi DNS Tidak Terbatas untuk Generasi Lalu Lintas Inspektur Berikutnya, yang dipilih dalam antarmuka web "Layanan" -> "DNS Tidak Terbatas" -> "Pengaturan Umum". Termasuk resolver DNS, penerusan DNS, registrasi DHCP. Dalam pengaturan pengguna, ia menentukan file dari daftar sumber daya web yang diblokir /var/unbound/ad-blacklist.conf. Pengaturan tersimpan. Sekarang potongan besi telah menjadi server DNS.



Kemudian ia menginstal server DNS yang baru dibuat sebagai server DHCP: "Layanan" -> "DHCP v4" -> "LAN" -> "Aktifkan server DHCP pada antarmuka LAN". Pada komputer pengguna DHCP-server harus dispesifikasikan Lalu Lintas Inspektur Generasi Selanjutnya, maka potongan besi akan secara otomatis terdaftar sebagai server DNS:



Sekarang, dalam hal pengalihan ke halaman dengan iklan, itu diblokir.
Daftar sumber daya yang diblokir diunduh secara default dari file http://winhelp2002.mvps.org/hosts.txt . Tapi saya punya banyak pertanyaan untuk daftar ini. Misalnya, mengapa secara default tidak ada alamat yang Yandex dan Google gunakan di jaringan iklan mereka? Ini berarti bahwa jenis iklan yang paling menjengkelkan (lihat paragraf 1) tidak akan diblokir. Saya harus mendaftarkannya secara manual. Untuk menambahkan alamat baru untuk diblokir, perlu menambahkan alamat dalam file konfigurasi dalam format: server: local-data: "<alamat sumber daya yang diblokir> A 0.0.0.0" dan mulai kembali layanan DNS Tidak Terbatas.

Alih-alih resume

Resep saya untuk memblokir iklan di jaringan lokal sederhana:

1. Aktifkan kunci di tingkat gateway.

2. Kami mendaftarkan jaringan periklanan Yandex dan Google di alamat yang diblokir (atau pastikan mereka hadir di sana), serta alamat lain yang Anda inginkan.

3. Kami memberi tahu karyawan bahwa, atas permintaan individu, mereka dapat menginstal pemblokir iklan, dan menginstalnya kepada mereka yang benar-benar membutuhkannya.

4. Kami memblokir jaringan sosial di tingkat gateway, situs pencarian kerja dan sumber daya lain yang tidak pantas, dan kemudian masalah pemblokiran iklan pada mereka akan hilang dengan sendirinya :)

PS Seperti yang saya tulis di atas, daftar permintaan HTTP yang diblokir di Traffic Inspector Next Generation diambil dari file winhelp2002.mvps.org/hosts.txt , tetapi daftar ini tidak selengkap yang seharusnya. Jika pembaca akan menemukan spesialis out-of-the-box yang tahu di mana mendapatkan daftar yang lebih relevan (terutama dengan mempertimbangkan spesifikasi Runet), silakan tulis di komentar. Jika daftar tersebut ada, saya akan menulisnya dalam skrip. Ngomong-ngomong, dukungan teknis mengatakan kepada saya bahwa OPNsense sedang membahas penambahan plugin khusus untuk mengelola daftar tersebut, tetapi sejauh ini ini tidak dalam produksi.