Google Penjelajahan Aman - masalah datang dari tempat mereka tidak menunggu

Penjelajahan Aman Google tiba-tiba menemukan virus di situs saya. [WNC-611600] Perangkat lunak berbahaya atau tidak diinginkan terdeteksi di situs ... (Yang ternyata tidak ada, seperti yang ternyata nanti).



Pengunjung situs melihat layar penuh, jendela merah dengan teks yang berisi malware dan penulis situs mencoba mengelabui program-program ini ke komputer Anda untuk mengubah halaman beranda atau menampilkan iklan tambahan di situs-situs (semua ini adalah bentuk fitnah).

Dan pengguna pergi, lari dari situs, karena mereka percaya semua yang tertulis di layar merah. Dan saya tidak menyalahkan mereka. Siapa pun di tempat mereka akan melakukan hal yang sama.

Salah positif Kesalahan Antivirus!

Itu terjadi. Kami akan menulis ke Google sekarang, mereka akan mengetahuinya dan keadilan akan menang dalam sekejap.

Faktanya, semuanya ternyata menjadi lebih rumit dan jalan menuju keadilan adalah sulit dan penuh dengan kerugian waktu dan uang karena tindakan yang salah.

Tapi ini bukan yang terburuk.

Masalahnya adalah bahwa kesalahan itu bukan kesalahan. Bukan saja saya menderita karenanya. Dan Google tidak dapat memperbaikinya sepenuhnya. Setidaknya untuk saat ini.

Jadi, semakin banyak orang mengetahuinya, semakin baik.

Dan mungkin seseorang yang penting di Google akan membaca, menelepon, dan berkata:
- Maaf, Dima! Kami tidak bisa. (Hanya mimpi saya bahwa saya tidak percaya pada diri saya sendiri)

Dalam tanda kurung adalah suara hati saya, yang tidak setuju dengan yang utama dalam segala hal dan selalu ingin menggunakan bahasa kotor. Untuk itu saya mohon maaf sebelumnya.

Mari kita mencari tahu secara berurutan.

Apa itu Penjelajahan Aman Google?

Google Safe Browsing (GSB) telah melindungi sekitar 3 miliar perangkat (komputer, telepon) di seluruh dunia selama 12 tahun, sejak 2007.

Banyak yang tidak tahu tentang ini, karena mereka tidak pernah menginstal program seperti itu di komputer mereka. Dan ini tidak diperlukan, karena GSB dipasang secara otomatis di Chrome dan klonnya, di Firefox dan Safari. Dari sini muncul angka mengesankan 3 miliar.

GSB bukan add-on browser, tetapi bersembunyi di pengaturannya, yang tidak mudah dijangkau.

Di Firefox, Anda tidak akan menemukan Penjelajahan Aman Google. Meskipun sudah terpasang dan aktif secara default.
Dalam pengaturan Firefox, Keamanan ada opsi "Blok konten berbahaya dan menipu". Di balik tulisan ini bersembunyi.

Sepertinya Firefox sendiri melindungi sesuatu, walaupun sebenarnya tidak. Pengembang Firefox dapat mengubah bek mereka kapan saja, misalnya di Yandex Safe Browsing.

Peramban memiliki kode bawaan yang bertukar data dengan sistem Penjelajahan Aman dan memeriksa hash URL dan file dengan tabel yang diterima dari GSB. Bergantung pada hasilnya, browser memblokir akses dan menampilkan gambar merah.

GSB mengontrol sepenuhnya dan sepenuhnya siapa yang harus diblokir dan siapa yang tidak. Dan browser melakukan semua yang mereka katakan.

Microsoft memiliki rekanannya sendiri - Smart Screen, yang tidak menemukan hal buruk di situs dan program saya.

Smart Screen terintegrasi dengan Internet Explorer dan Edge, yang bagiannya jauh lebih kecil daripada Chrome.

Sekarang detektif!

Cerita dimulai pada pagi hari tanggal 30 November 2018.

Saya menerima email dari Google Search Console

[WNC-611600] Perangkat lunak berbahaya atau tidak diinginkan terdeteksi di situs ...

Ini salah! Saya pikir.

Karena itu adalah situs saya dan file saya diidentifikasi sebagai berbahaya.

Ketika saya sedang sarapan, surat-surat yang sama muncul di situs kedua saya dan jumlah file "jahat" yang ditemukan meningkat.

Saya berlari ke kantor.

Memeriksa file. Semua ditandatangani secara digital dan dengan mengunduhnya, saya yakin tanda tangannya valid. Tanda tangan itu bukan barang baru, diterbitkan lebih dari setahun yang lalu.

Semua menemukan file dengan tanggal berbeda, tetapi tidak terlalu lama - mulai dari satu minggu hingga satu bulan.
Mengunggahnya ke Virustotal dengan memeriksa ulang.

Bersih!

Saya telah membuat program untuk Windows selama 20 tahun dan selama ini telah ada deteksi antivirus palsu.

"Yah, bukan yang pertama," pikirku.

Dalam surat dari Google mereka menyarankan untuk mengirim banding, yang saya lakukan segera.
Dua jam kemudian, jawaban datang bahwa banding ditolak .

Dan tidak ada komentar atas jawabannya.

Dalam surat berikutnya, Google mengumumkan bahwa mereka telah memblokir seluruh domain situs dan semua halaman tempat tautan ke file berada.

Logikanya tindakannya adalah sebagai berikut: jika halaman berisi tautan ke file jahat, maka halaman ini dianggap berbahaya. Jika tautan ada di halaman utama situs, maka seluruh domain.

Ketika mereka memasuki situs, pengguna melihat jendela merah layar penuh yang mengerikan: "Situs di depan berisi program berbahaya".

Saat mengunduh file, file itu ditandai sebagai berbahaya dan Anda dapat membukanya secara prinsip, mengonfirmasi beberapa kali bahwa saya yakin saya ingin membuka file ini. Saya tidak berpikir bahwa setidaknya salah satu pengguna reguler situs akan melakukan ini.

Tanda tangan dicuri?

Saya melakukan beberapa percobaan: Saya menandatangani file menggunakan sertifikat lain (EVO, tanda tangan pada token), membuat proyek kosong di C ++ Builder, mengumpulkannya, menandatangani file, mengunggahnya ke situs.

Google menganggapnya sebagai virus.

Dari mana saya menyimpulkan bahwa sekarang dia menganggap semua file dari domain ini sebagai berbahaya, dibuat setelah waktu tertentu .

Google menganggap file lama sebulan yang lalu benar-benar bersih.

Saya tahu bahwa tidak ada yang berubah secara mendasar di dalamnya (saya tidak menambahkan virus di sana).
Itu juga memalukan bahwa deteksi itu entah bagaimana selektif. Untuk beberapa alasan, Google menganggap versi standar program sebagai virus, dan yang emas murni ( mungkin emas melindungi terhadap virus ).

Semuanya tampak aneh.

Dalam surat dari Google, mereka menyarankan untuk membuat topik di forum Google.

Saya berhasil.

Sebagai tanggapan, saya menerima pesan dari moderator rahasia bahwa dia sudah melihat kasus ketiga dalam sehari.

Saya memeriksa forum dan menemukan banyak jawaban dari moderator. Kawan itu berusaha membantu sebanyak mungkin ( menawarkan saran yang tidak berguna ), tetapi dia tidak bekerja di Google dan tidak bisa membantu. Tetapi para korban lainnya mulai mendaftar dalam topik tersebut.

Ternyata saya tidak sendiri!

Tautan ke forum Google .

Saya mulai mencari di forum Google Webmaster untuk kasus serupa dengan akhir yang bahagia dan menemukan satu tahun lalu. Bahkan ada tanggapan dari "kemungkinan karyawan Google" yang menyarankan pengiriman semua kesalahan positif langsung dari Chrome melalui fungsi fungsi Laporkan .

Saya memberikan jawabannya:

Sergey_Semenov:

Jika tidak membantu setelah ditinjau di konsol, kirim laporan masalah Chrome dari browser (Alt + Shift + I) yang mengatakan bahwa Anda adalah perusahaan topi putih yang baik dan file Anda benar-benar bersih. Itu jelas membantu kami karena kami memiliki semua masalah di google console menghilang setelah laporan masalah Chrome tanpa meminta ulasan lain.

Agak aneh melaporkan kesalahan dalam bentuk pemberitahuan tentang program dan situs yang tidak diinginkan. Tetapi tidak ada formulir False Positive terpisah di Chrome atau di situs web GSB.
Mungkin, Google menganggap mereka tidak memiliki kesalahan ( tidak ada kata-kata ).

Malam itu mengkhawatirkan. ( Sebenarnya, ini jauh lebih buruk. Saya berpikir apa yang harus dilakukan. Bagaimana hidup. Yah, setidaknya anak itu sudah dewasa )

Jumlah korban bertambah. Semua disatukan oleh fakta bahwa mereka adalah produsen program untuk Windows dan, pada tingkat tertentu, memiliki koneksi dengan lingkungan pemrograman Delphi .

Bug delphi?
( Saya tidak berpikir ... )

Daftar korban yang tidak lengkap: Perangkat Lunak Greatis (RegRun, UnHackMe, BootRacer), Perangkat Lunak Skuter (Melampaui Bandingkan), Perangkat Lunak IBE (HelpNDoc), Perangkat Lunak Blumentals (HTMLPad, WeBuilder, RapidPHP), Perangkat Lunak Kartu Skor Seimbang (Perancang BSC), SpamBully, Perangkat Lunak Gillmeister ( Ganti nama Pakar), Autorun Organizer (Chemtable) ...

9 dari 10 menggunakan installer Innosetup, yang ditulis dalam bahasa Delphi. Satu menggunakan Nullsoft. Semua file ditandatangani dengan tanda tangan digital perusahaan.

Lini bisnis berbeda untuk semua orang, tetapi damai: editor PHP, pengarsipan, program perbandingan file, add-on Power Point, manajer pemula, program bantuan pembuatan file
Saya tidak mengiklankan diri saya, tetapi saya memiliki satu program yang menghapus virus ( mudah untuk mencampur virus dan antivirus ).

Dan yang lainnya bekerja di beberapa perusahaan besar di seluruh dunia (Parlemen Eropa, Western Digital, Polisi Metropolitan, bank, dll.). Apa yang bisa mengakibatkan masalah besar.

Opsi dengan jatuh pada Delphi dan Inno Setup sebelumnya dikenal.

Sangat memalukan bahwa jumlah korban, meskipun meningkat, tidak bersifat global. Ada banyak perusahaan di dunia yang menggunakan installer dan program Delphi Inno Setup.

Mengapa mereka tidak menderita?

Memikirkan masalah ini, saya mulai "membersihkan" situs-situs itu, menghapus tautan ke file yang dianggap berbahaya. Ada beberapa arsip Unduhan tempat Anda dapat mengunduh file yang sama dan dari mana Google tidak mendapatkannya.

Di mana GSB mendapat itu buruk. Mereka juga ditandai. Halaman program saya di Fileforum.com bertemu layar merah. Download.com hanya memblokir akun perusahaan saya dan menghapus semua program dari situs webnya.

Name.com (divisi IBM) telah menolak akses ke server DNS untuk domainnya. Ini adalah kerusakan yang sulit untuk segera diperbaiki.

Saya membersihkan situs-situs tautan. Tautan program yang dikirim ke Google.

Dan lihatlah!

Sehari setelah semua file dikirim ke GSB, situs dikirim untuk ditinjau, Google mundur dan menghapus semua klaimnya.

Semua file menjadi bersih sebagai sobekan. Baru dan lama!

Dan semua korban lainnya juga!

Kami kembali hidup, bekerja ( dan mulai hidup bahagia dan tidak mati dalam satu hari ).

Dan semuanya akan baik-baik saja jika ...

Setelah seminggu, saya memposting versi baru dari program dan setelah 2 jam terdeteksi sebagai berbahaya!

Itu adalah pukulan berat ( saya duduk dan kemudian berbaring ).

Saya segera memulihkan versi yang lama. Diserahkan untuk ditinjau. Di pagi hari, semuanya beres.

Sejak itu saya terus melakukan prosedur sebelum mengunggah versi baru:

1. Saya meletakkan file baru di direktori baru di situs.
2. Kirim via Chrome, Laporkan tautan Masalah.
3. Saya menunggu beberapa jam.
4. Saya memposting versi baru di situs baru.

Saya tidak punya perjalanan lagi.

Relaps terjadi lagi di salah satu korban pada 30 Januari .

Dia menulis surat kepada saya dan bersama-sama kami memecahkan masalah dalam waktu sekitar satu hari. Pada bulan Februari, penulis lain dari program memiliki masalah yang sama. Saya melihat di RSDN.

Masalah positif palsu tidak terpecahkan (dan tidak ada yang akan menyelesaikannya).

Apa yang sekarang takut dengan sisa hidup Anda?

Jika Anda kurang beruntung juga, coba ini.
Metodologi tindakan berdasarkan pengalaman pribadi:

1. Jangan mencoba membantah dengan segera melalui Google Search Console. Anda mungkin kehilangan waktu dan menambah kerusakan.
2. Bersihkan file yang ditemukan oleh Google dari situs. Jika Anda pergi, kerusakannya mungkin lebih besar.
3. Jika ada versi file lama, pulihkan. Jika tidak, lihat di mana file Anda di-host di Internet dan Google tidak akan mencekal mereka. Kirim traffic ke sana.
4. Kirim situs Anda yang telah dibersihkan ke Ulasan melalui Google Search Console.
5. Unggah file mencurigakan Anda (direktori baru, situs lain) ke lokasi baru dan kirim tautan ke file yang salah didefinisikan melalui Laporan Masalah. Search Console yang baru memiliki tautan yang sama. Jadi Chrome adalah opsional.
6. Tunggu alasan dalam waktu 2 jam dari GSB dan dalam waktu 24 jam dari Google Search Console.
7. Tidak akan ada tanggapan dari GSB.

Anda dapat memeriksa status tautan dengan mencari di situs.

Kesimpulan pertama: sistem banding dibangun dengan sangat buruk

( Anda harus disalahkan atas segalanya, dan mengapa dan dalam hal apa, kami tidak akan memberi tahu Anda! )
Laporan Hilang Bentuk Positif Palsu .

Sebagai contoh, Microsoft memilikinya. Dan jawabannya datang dari mereka. Bukan berhenti berlangganan, tetapi hasil tes dan tindakan yang diambil oleh mereka. Tidak ada jawaban dari GSB.

Saya menemukan bahwa di Amerika Serikat orang-orang menghubungi dukungan Google (itu tidak mudah) dan mendapatkan saran yang sama untuk ditulis di forum. Tidak seorang pun di Google akan membantu dan menjawab.
Forum ini dihadiri oleh karyawan Google dan kemungkinan besar akan membacanya (diverifikasi untuk membaca).
Tetapi mereka jarang menjawab. Akhir-akhir ini - tidak pernah.
( Berbicara pada diri sendiri dan ke tembok bukanlah perasaan yang baik )

Waktu respons banding terlalu lama.

Mungkin butuh satu atau dua hari.

Putusan GSB dipercayai oleh semua orang (terutama Google) .
( Maka Anda tidak akan mandi sendiri! )

Semuanya akan memblokir Anda di Google: situs web, Youtube, surat, dll., Jika ada diagnosis dari GSB.
GSB membaca dan Gmail. Dan tidak jelas apa dan bagaimana itu dapat bereaksi ( saya memblokir huruf-huruf yang ditemukan jika mereka memiliki nama virus. Artinya, ia menemukan virus dalam teks. Ini adalah pencapaian yang tinggi! )

Karena itu, seperti yang saya pikirkan, mereka menolak untuk mengulas. Jika ada putusan GSB, semua yang Anda katakan diabaikan. Ini juga buruk bahwa Anda tidak akan pernah tahu alasan penolakan, karena Google tidak melaporkannya. ( Google mengirimkan balasan standar bahwa Anda bersalah melanggar apa pun dan segala sesuatu )

Mari kita cari tahu berdasarkan apa putusan GSB.

Ternyata itu menjadi misteri!



Hasil Virustotal, yang juga dimiliki oleh Google, dapat sepenuhnya bertentangan dengan keputusan GSB.

Apakah Anda tahu antivirus GSB? Tidak Dan saya tidak melakukannya. Dan tidak ada antivirus Google Safe Browsing!

GSB adalah pemeriksaan URL atau hash file terhadap basisnya sendiri.

Tidak ada yang menganalisis situs secara real time, tepat sebelum Anda sampai di sana.
Tidak ada yang melihat skrip JS atau file di situs ini.

Hanya peramban yang sesekali mengunduh database di komputer Anda dan memeriksa secara lokal.

GSB lebih cenderung merespons perilaku.
File baru muncul, tidak dikenalnya, dan sistem tegang.
Mereka mulai mengunduhnya lebih dari biasanya dari situs ini - ini sudah berbahaya.
Dan jika file yang sama ada di situs "buruk", misalnya, bajak laut?
( yah, pasti - virus )

Tapi alasannya lumrah. Hanya versi baru dari program ini. Dan mereka mulai mengunduhnya lebih lanjut.

Untuk GSB, normal jika Anda mengunduh file menggunakan satu tautan, itu terinfeksi. Unduh file yang sama dari tautan lain - bersihkan.
Terkejut?
Saya juga.
Ini menunjukkan bahwa tautan ditempatkan dalam basis data tanpa memeriksa isinya.
( Berdasarkan asumsi robot )

Ini biasanya terjadi pada tahap awal beralih pada Bulldog GSB. Kemudian bulldog dihidupkan sepenuhnya dan menambahkan hash file ke database. Setelah itu, tidak masalah dari URL mana file tersebut diunduh. Itu ditandai di mana-mana.

Pada saat yang sama, dengan probabilitas 99%, tidak ada satu orang pun yang menganalisis file tersebut.

Kemudian bulldog melanjutkan ke tahap berikutnya. Dia mulai menandai semua file serupa di situs. Ini menandai file dengan menandatangani file secara digital, jika ada.

Saya menguji proses ini dengan membuat proyek kosong dan mengompilasinya menjadi file exe. File yang ditandatangani terdeteksi sebagai berbahaya. Tahap terakhir: semua file dari domain terdeteksi berbahaya.

Logika tindakan bulldog jelas: ambil dan hentikan distribusi file sesegera mungkin.

Melihat riwayat deteksi, jelas bahwa masalahnya dimulai dengan deteksi URL (hash file tidak terdeteksi). Kemudian deteksi berkembang ke titik bahwa file baru dari situs tersebut dianggap berbahaya.

Deteksi ini hanya mesin berdasarkan "prinsip yang tidak diketahui."
Bagaimanapun, semua ini disebut "heuristik" dengan tingkat probabilitas tertentu.
Dan putusan sistem semacam itu seharusnya tidak VIRUS, tetapi MUNGKIN mencurigakan.

Mengapa perjalanan itu muncul pada saat yang sama bagi banyak orang, tetapi belum pernah muncul sebelumnya?

Dugaan saya adalah sesuatu muncul di GSB, misalnya, ia melatih jaringan saraf.
Jaringan saraf menemukan file serupa. Sayangnya, file kami ternyata mirip dengan beberapa jenis virus.

Dan GSB menganggapnya cukup alasan untuk menyalahkan kejahatan.
Kemudian diam-diam menghapus kesalahan mereka dan dengan senang hati melaporkan berapa banyak virus yang mereka temukan.

( Jika pengadilan bekerja sesuai dengan skema seperti itu, maka siapa pun dapat berakhir di penjara besok )

Anak kecil menderita

Semua korban adalah perusahaan kecil yang merasa sulit untuk menuntut Google. Rupanya, mereka memiliki yang besar dalam daftar putih. ( dan Anda bisa mengabaikan yang kecil saja )

Seperti yang saya pahami, saat ini, satu-satunya hal yang dapat membantu Google adalah menghapus URL dan hash dari daftar yang buruk berdasarkan permintaan.

Mungkin GSB begitu baik sehingga mengalahkan malware di seluruh dunia?
Tidak seperti itu.
Saya telah bertemu situs yang sama dengan malware selama bertahun-tahun dan mereka merasa hebat. Jumlah dect yang membanggakan GSB tidak dapat meyakinkan saya juga. Malvar berkembang biak dengan mudah dan cepat.

Gagasan untuk mengecek database tertentu, yang juga diunduh secara lokal, menyiratkan jeda waktu tertentu.
( Sudah tertangkap, dan kemudian basis diunduh )

Kesimpulan kedua: jangan mengandalkan GSB untuk melindungi dan menyimpan

Di sini, sarana yang sangat berbeda diperlukan.

Mengapa Google membutuhkan perjuangan melawan virus ini?

Untuk apa semua upaya tim GSB ini?
Jadikan dunia tempat yang lebih baik?
Atau mendapatkan informasi tentang situs yang dikunjungi oleh pengguna?

Google memastikan bahwa ia memeriksa URL situs hanya dengan hash dan lokal pada klien, dan bukan pada server. Dan mengirim permintaan ke server Google hanya menggunakan hash, bukan URL lengkap.
www.chromium.org/developers/design-documents/safebrowsing
Cara kerjanya di Firefox:
support.mozilla.org/en-US/kb/how-does-phishing-and-malware-protection-work

Tapi apa gunanya GSB hanya dari hash?

Mungkin karena Google juga merupakan perusahaan yang memindai seluruh Internet dan memiliki basis data di mana ia dapat dengan mudah menemukan hash dan dengan demikian menerima URL situs yang dikunjungi dan menganalisisnya.

Apa yang diungkapkan Google.

Akibatnya, Google dapat menerima karakteristik perilaku situs, bahkan jika Google Analytics tidak diinstal di situs. Semua data disediakan oleh GSB benar-benar gratis.

Terlepas dari aturannya sendiri untuk aplikasi "baik", saat memasang Chrome tidak ada kotak centang "Aktifkan Penjelajahan Aman" dan tidak jelas bagi siapa pun bahwa Chrome mengirim informasi ke GSB.
( Kesimpulan pribadi saya adalah bahwa GSB sama sekali tidak memedulikan tetangga )

Tetapi saya ingin GSB mengikuti setidaknya standar yang diterima secara umum dalam hal tanggung jawab atas tindakannya, terbuka dan dapat dipahami oleh semua peserta dalam proses: pengguna, pemilik situs, produsen perangkat lunak.
( tolong jangan marah! )