Navigation sécurisée Google - les problèmes sont venus d'où ils n'ont pas attendu

La navigation sécurisée Google a soudainement trouvé un virus sur mon site. [WNC-611600] Logiciel malveillant ou indésirable détecté sur le site ... (qui n'était pas là, comme il s'est avéré plus tard).



Les visiteurs du site voient une fenêtre rouge plein écran avec le texte indiquant que le site contient des logiciels malveillants et les auteurs du site tentent de tromper ces programmes sur votre ordinateur afin de modifier la page d'accueil ou d'afficher des publicités supplémentaires sur les sites (tout cela est une forme de calomnie).

Et les utilisateurs quittent, courent depuis le site, car ils croient tout ce qui est écrit sur l'écran rouge. Et je ne leur en veux pas. N'importe qui à leur place ferait de même.

Faux positif Erreur antivirus!

Ça arrive. Nous allons écrire à Google maintenant, ils le découvriront et la justice triomphera en un instant.

En fait, tout se révèle plus compliqué et le chemin vers la justice est épineux et lourd de pertes de temps et d'argent dues à des actions incorrectes.

Mais ce n'est pas le pire.

Le problème est que l'erreur n'est pas isolée. Non seulement j'en souffre. Et Google n'est pas en mesure de le réparer complètement. Du moins pour l'instant.

Donc, plus les gens le découvrent, mieux c'est.

Et peut-être qu'une personne importante sur Google lira, appellera et dira:
- Désolé, Dima! Notre cant. (juste mes rêves que je ne crois pas en moi)

Entre parenthèses se trouve ma voix intérieure, qui n'est pas d'accord avec la principale de tout et veut toujours utiliser un langage grossier. Je m'excuse à l'avance.

Voyons cela dans l'ordre.

Qu'est-ce que la navigation sécurisée Google?

Depuis 2007, Google Safe Browsing (GSB) protège environ 3 milliards d'appareils (ordinateurs, téléphones) dans le monde depuis 12 ans.

Beaucoup ne le savent pas, car ils n'ont jamais installé un tel programme sur leur ordinateur. Et ce n'est pas obligatoire, car GSB est automatiquement installé dans Chrome et ses clones, dans Firefox et Safari. De là est venu le nombre impressionnant de 3 milliards.

GSB n'est pas un module complémentaire de navigateur, mais se cache dans ses paramètres, ce qui n'est pas si facile d'accès.

Dans Firefox, vous ne trouverez pas la navigation sécurisée Google. Bien qu'il soit installé et actif par défaut.
Dans les paramètres de Firefox, Sécurité, il y a une option «Bloquer le contenu dangereux et trompeur». Derrière cette inscription, elle se cache.

Il semble que Firefox lui-même protège quelque chose, bien qu'il ne le soit pas. Les développeurs de Firefox peuvent changer de défenseur à tout moment, par exemple sur Yandex Safe Browsing.

Le navigateur a un code intégré qui échange des données avec le système de navigation sécurisée et vérifie les hachages des URL et des fichiers avec une table reçue du GSB. Selon les résultats, le navigateur bloque l'accès et affiche une image rouge.

GSB contrôle entièrement et totalement les personnes à bloquer et celles qui ne le font pas. Et le navigateur fait tout ce qu'ils disent.

Microsoft a son propre homologue - Smart Screen, qui n'a rien trouvé de mal sur mon site et mes programmes.

Smart Screen est intégré à Internet Explorer et Edge, dont la part est beaucoup plus petite que Chrome.

Maintenant détective!

L'histoire a commencé tôt le matin du 30 novembre 2018.

J'ai reçu un e-mail de la Google Search Console

[WNC-611600] Logiciels malveillants ou indésirables détectés sur le site ...

C'est une erreur! Pensai-je.

Parce que c'était mon site et mes fichiers identifiés comme malveillants.

Pendant que je prenais le petit déjeuner, les mêmes lettres sont arrivées sur mon deuxième site et le nombre de fichiers «malveillants» trouvés a augmenté.

Je cours pour travailler.

Vérifié les fichiers. Tous sont signés numériquement et en les téléchargeant, j'étais convaincu que la signature était valide. La signature n'est pas nouvelle, émise il y a plus d'un an.

Tous les fichiers trouvés avec des dates différentes, mais pas très anciennes - allant d'une semaine à un mois.
Vous les avez téléchargés sur Virustotal avec une double vérification.

Propre!

Je crée des programmes pour Windows depuis 20 ans et pendant ce temps il y a eu de fausses détections antivirus.

"Eh bien, pas dans le premier", pensai-je.

Dans une lettre de Google, ils ont suggéré d'envoyer un appel, ce que j'ai fait immédiatement.
Deux heures plus tard, la réponse est venue que l' appel a été rejeté .

Et aucun commentaire sur la réponse.

Dans la lettre suivante, Google a annoncé qu'il avait bloqué l'ensemble du domaine du site et toutes les pages à partir desquelles se trouvaient des liens vers des fichiers.

La logique de ses actions est apparemment la suivante: si la page contient un lien vers un fichier malveillant, cette page est considérée comme malveillante. Si les liens se trouvent sur la page principale du site, alors tout le domaine.

Lorsqu'ils sont entrés sur le site, les utilisateurs ont vu une terrible fenêtre rouge en plein écran: «Le site à venir contient des programmes nuisibles».

Lors du téléchargement d'un fichier, il est marqué comme malveillant et vous pouvez l'ouvrir en principe, confirmant plusieurs fois que je suis sûr de vouloir ouvrir ce fichier. Je ne pense pas qu'au moins un des utilisateurs réguliers du site le fera.

Signature volée?

J'ai mené plusieurs expériences: j'ai signé le fichier en utilisant un autre certificat (EVO, signature sur le token), créé un projet vide dans C ++ Builder, l'ai assemblé, signé le fichier, téléchargé sur le site.

Google le considérait comme un virus.

D'où j'ai conclu que maintenant il considère tous les fichiers de ce domaine comme malveillants, créés après un certain temps .

Google considérait que l'ancien fichier d'il y a un mois était complètement propre.

Je sais que rien n'y a fondamentalement changé (je n'y ai pas ajouté de virus).
Il était également gênant que la détection soit en quelque sorte sélective. Pour une raison quelconque, Google considérait la version standard du programme comme virale, et la version dorée comme pure ( probablement l'or protège contre les virus ).

Tout cela paraissait étrange.

Dans une lettre de Google, ils ont suggéré de créer un sujet sur le forum Google.

Je l'ai fait.

En réponse, j'ai reçu un message d'un modérateur secret qu'il voyait déjà le troisième cas de ce type en une journée.

J'ai vérifié le forum et trouvé de nombreuses réponses du modérateur. Le camarade a essayé d'aider le plus possible (a offert des conseils inutiles ), mais il ne travaillait pas chez Google et ne pouvait pas vraiment aider. Mais d'autres victimes ont commencé à s'inscrire sur le sujet.

Il s'avère que je ne suis pas seul!

Lien vers le forum Google .

J'ai commencé à rechercher sur le forum Google Webmasters des cas similaires avec une fin heureuse et j'en ai trouvé un l'année dernière. Il a même reçu une réponse d'un «employé probable de Google» qui a suggéré d'envoyer tous les faux positifs directement à partir de Chrome via la fonction Signaler un problème .

Je donne sa réponse:

Sergey_Semenov:

Si cela n'aide pas après un examen dans la console, envoyez un rapport de problème Chrome à partir du navigateur (Alt + Shift + I) en disant que vous êtes une bonne entreprise de chapeau blanc et que vos fichiers sont absolument propres. Cela nous a clairement aidé, car nous avions tous les problèmes dans la console Google disparus après le rapport de problème de Chrome sans demander un autre examen.

Il est un peu étrange de signaler une erreur sous la forme d'une notification concernant des programmes et des sites indésirables. Mais il n'y a pas de formulaire False Positive séparé dans Chrome ou sur le site Web de GSB.
Probablement, Google considère qu'ils n'ont pas d'erreurs ( pas de mots ).

La nuit était alarmante. ( En fait, c'est bien pire. J'ai pensé quoi faire. Comment vivre. Eh bien, au moins l'enfant a déjà grandi )

Le nombre de victimes a augmenté. Tous étaient unis par le fait qu'ils étaient des fabricants de programmes pour Windows et, à un degré ou à un autre, avaient une connexion avec l'environnement de programmation Delphi .

Bug Delphi?
( Je ne pense pas ... )

Liste incomplète des victimes: Greatis Software (RegRun, UnHackMe, BootRacer), Scooter Software (Beyond Compare), IBE Software (HelpNDoc), Blumentals Software (HTMLPad, WeBuilder, RapidPHP), Balanced Scorecard Software (BSC Designer), SpamBully, Gillmeister Software ( Renommer Expert), Autorun Organizer (Chemtable) ...

9 sur 10 ont utilisé le programme d'installation d'Innosetup, qui est écrit en Delphi. L'un a utilisé Nullsoft. Tous les fichiers ont été signés avec des signatures numériques d'entreprises.

Le secteur d'activité est différent pour tout le monde, mais paisible: éditeur PHP, archiveur, programme de comparaison de fichiers, module complémentaire Power Point, gestionnaire de démarrage, programme de création de fichiers d'aide.
Je ne fais pas de publicité, mais j'ai un programme qui supprime les virus ( il est facile de mélanger un virus et un antivirus ).

Et l'autre travaille dans certaines grandes entreprises du monde entier (Parlement européen, Western Digital, Police métropolitaine, banques, etc.). Ce qui pourrait entraîner de gros problèmes.

Les options avec des chutes sur Delphi et Inno Setup étaient auparavant connues.

Il est gênant que le nombre de victimes, bien qu'en augmentation, ne soit pas mondial. Il existe de nombreuses entreprises dans le monde qui utilisent les programmes d'installation et les programmes d'installation de Delphi Inno.

Pourquoi ne souffrent-ils pas?

En pensant à ce problème, j'ai commencé à «nettoyer» les sites, en supprimant les liens vers des fichiers soi-disant malveillants. Il y avait plusieurs archives de téléchargement à partir desquelles vous pouviez télécharger les mêmes fichiers et où Google ne les avait pas obtenues.

Où le GSB est arrivé était mauvais. Ils ont également été étiquetés. Ma page de programme sur Fileforum.com a rencontré des écrans rouges. Download.com a simplement bloqué le compte de mon entreprise et supprimé tous les programmes de son site Web.

Name.com (une division d'IBM) a refusé l'accès à ses serveurs DNS pour le domaine. Il s'agit de dommages difficiles à réparer immédiatement.

J'ai effacé les sites des liens. Liens de programme envoyés à Google.

Et voilà!

Un jour après que tout le fichier a été envoyé au GSB, les sites ont été envoyés pour examen, Google a fait marche arrière et a supprimé toutes ses revendications.

Tous les fichiers sont devenus propres comme une larme. À la fois nouveau et ancien!

Et toutes les autres victimes aussi!

Nous sommes revenus à la vie, au travail ( et avons commencé à vivre heureux et ne sommes pas morts en un jour ).

Et tout irait bien si ...

Après une semaine, j'ai posté une nouvelle version du programme et après 2 heures, il a été détecté comme malveillant!

Ce fut un coup dur ( je me suis assis puis je me suis allongé ).

J'ai rapidement restauré l'ancienne version. Soumis pour examen. Le matin, tout a été nettoyé.

Depuis lors, je fais constamment la procédure avant de télécharger de nouvelles versions:

1. J'ai mis le nouveau fichier dans un nouveau répertoire sur le site.
2. Envoyer via Chrome, signaler un lien vers un problème.
3. J'attends quelques heures.
4. Je poste la nouvelle version sur un nouveau site.

Je n'avais plus de voyages.

Une rechute s'est produite de nouveau chez l'une des victimes le 30 janvier .

Il m'a écrit par la poste et ensemble, nous avons résolu le problème en une journée environ. En février, un autre auteur des programmes a eu le même problème. J'ai vu sur RSDN.

Le problème des faux positifs n'est pas résolu (et personne ne va le résoudre).

Que craignez-vous maintenant le reste de votre vie?

Si vous n'avez pas de chance aussi, essayez ceci.
La méthodologie des actions basée sur l'expérience personnelle:

1. N'essayez pas de contester immédiatement via la Google Search Console. Vous pouvez perdre du temps et augmenter vos dégâts.
2. Nettoyez les fichiers trouvés par Google à partir des sites. Si vous partez, les dégâts peuvent être plus importants.
3. S'il existe d'anciennes versions de fichiers, restaurez-les. Sinon, regardez où vos fichiers sont hébergés sur Internet et Google ne les interdira pas. Envoyez du trafic là-bas.
4. Soumettez votre site nettoyé à Review via la Google Search Console.
5. Téléchargez vos fichiers suspects (un nouveau répertoire, un autre site) vers un nouvel emplacement et envoyez des liens vers des fichiers mal définis via Report Issue. La nouvelle Search Console a le même lien. Chrome est donc facultatif.
6. Attendez des excuses dans les 2 heures suivant GSB et dans les 24 heures depuis Google Search Console.
7. Il n'y aura pas de réponse du GSB.

Vous pouvez vérifier l'état des liens en effectuant une recherche sur le site.

Première conclusion: le système d'appel est très mal construit

( vous êtes à blâmer pour tout, et pourquoi et en quoi, nous ne vous le dirons pas! )
Formulaire de rapport faux positif .

Par exemple, Microsoft en a un. Et la réponse vient d'eux. Pas de désabonnement, mais les résultats des tests et les actions qu'ils ont entreprises. Pas de réponse du GSB.

Aux États-Unis, j'ai constaté que les gens se connectent au support Google (ce n'est pas facile) et obtiennent les mêmes conseils pour écrire sur le forum. Personne chez Google ne va aider et répondre.
Le forum est fréquenté par les employés de Google et est susceptible de le lire (vérifié à lire).
Mais ils répondent rarement. Dernièrement - jamais.
( Se parler à soi-même et au mur n'est pas un bon sentiment )

Le temps de réponse à l'appel est trop long.

Cela peut prendre un jour ou deux.

Le verdict du GSB est humblement cru par tout le monde (en particulier Google) .
( Alors tu ne te laveras pas! )

Tout vous bloquera sur Google: site web, Youtube, mail, etc., s'il y a un diagnostic de GSB.
GSB lit et Gmail. Et on ne sait pas trop comment et comment il peut réagir ( je bloque les messages trouvés s’ils contiennent des noms de virus. C’est-à-dire qu’il trouve un virus dans le texte. C'est une grande réussite! )

Par conséquent, comme je pense, ils refusent de réviser. S'il y a un verdict GSB, tout ce que vous dites est ignoré. Il est également regrettable que vous ne sachiez jamais les raisons du refus, car Google ne le signale pas. ( Google envoie des réponses standard selon lesquelles vous êtes coupable d'avoir violé tout et n'importe quoi )

Voyons sur quoi se fonde le verdict du GSB.

Cela s'avère être un mystère!



Les résultats de Virustotal, également détenu par Google, peuvent totalement contredire les décisions de GSB.

Connaissez-vous l'antivirus GSB? Non? Et moi non. Et il n'y a pas d'antivirus Google Safe Browsing!

GSB est une vérification de l'URL ou du hachage d'un fichier par rapport à sa propre base de données.

Personne n'analyse le site en temps réel, juste avant d'y arriver.
Personne ne consulte les scripts ou fichiers JS sur ce site.

Un simple navigateur télécharge de temps en temps la base de données sur votre ordinateur et vérifie localement.

Le GSB est plus susceptible de réagir au comportement.
Un nouveau fichier est apparu à son insu et le système s'est tendu.
Ils ont commencé à le télécharger plus que d'habitude depuis ce site - c'est déjà dangereux.
Et si le même fichier se trouve sur un "mauvais" site, par exemple des pirates?
( bien sûr, un virus )

Mais la raison est courante. Juste une nouvelle version du programme. Et ils commencent à le télécharger davantage.

Pour GSB, il est normal que si vous téléchargez un fichier à l'aide d'un seul lien, il soit infecté. Téléchargez le même fichier à partir d'un autre lien - nettoyez.
Surpris?
Moi aussi.
Cela suggère que le lien est placé dans la base de données sans vérifier son contenu.
( Basé sur les hypothèses du robot )

Cela se produit généralement au stade initial de la mise sous tension du bulldog GSB. Ensuite, le bulldog est complètement activé et ajoute le hachage du fichier à la base de données. Après cela, peu importe l'URL à partir de laquelle le fichier est téléchargé. Il est marqué partout.

Dans le même temps, avec une probabilité de 99%, pas une seule personne n'a analysé le fichier.

Ensuite, le bouledogue passe à l'étape suivante. Il commence à baliser tous les fichiers similaires sur le site. Il marque les fichiers en signant numériquement le fichier, le cas échéant.

J'ai testé ce processus en créant un projet vide et en le compilant dans un fichier exe. Le fichier signé est détecté comme malveillant. Dernière étape: tous les fichiers du domaine sont détectés comme dangereux.

La logique des actions du bouledogue est claire: saisissez et arrêtez la distribution du fichier dès que possible.

A en juger par l'historique des détections, il est clair que le problème a commencé avec la détection d'URL (le hachage du fichier n'a pas été détecté). Ensuite, la détection s'est développée au point que tous les nouveaux fichiers du site étaient considérés comme malveillants.

La détection est exclusivement machine basée sur des «principes inconnus».
En tout cas, tout cela s'appelle «heuristique» avec un certain degré de probabilité.
Et le verdict d'un tel système ne devrait pas être VIRUS, mais POSSIBLE suspect.

Pourquoi les voyages sont-ils apparus en même temps pour beaucoup, mais n'avaient jamais paru auparavant?

Je suppose que quelque chose est apparu dans le GSB, par exemple, il a formé un réseau neuronal.
Le réseau de neurones trouve des fichiers similaires. Malheureusement, nos fichiers se sont avérés similaires avec une sorte de virus.

Et le GSB considère que c'est une raison suffisante pour blâmer le crime.
Supprimez ensuite silencieusement leurs erreurs et signalez avec plaisir le nombre de virus détectés.

( Si le tribunal fonctionne selon un tel schéma, alors tout le monde peut se retrouver en prison demain )

Les petits souffrent

Toutes les victimes sont de petites entreprises qui ont du mal à poursuivre Google. Apparemment, ils en ont de grands dans la liste blanche. ( et vous pouvez simplement ignorer les petits )

Si je comprends bien, pour le moment, la seule chose qui peut aider Google est de supprimer les URL et les hachages d'une mauvaise liste sur demande.

Peut-être que le GSB est si bon qu'il a vaincu les logiciels malveillants dans le monde?
Pas comme ça.
Je rencontre les mêmes sites avec des logiciels malveillants depuis de nombreuses années et ils se sentent bien. Le nombre de dectes que possède le GSB ne peut pas non plus me convaincre. Malvar se reproduit facilement et rapidement.

L'idée même de vérifier par rapport à une certaine base de données, qui est également téléchargée localement, implique un certain décalage dans le temps.
( Déjà capturé, puis la base téléchargée )

Deuxième conclusion: ne comptez pas sur le GSB pour protéger et sauver

Ici, des moyens complètement différents sont nécessaires.

Pourquoi Google a-t-il besoin de cette lutte contre les virus?

À quoi servent tous ces efforts de l'équipe GSB?
Faire du monde un meilleur endroit?
Ou obtenir des informations sur les sites visités par les utilisateurs?

Google assure qu'il vérifie les URL des sites uniquement par hachage et localement sur le client, et non sur le serveur. Et envoie des demandes aux serveurs Google en utilisant uniquement des hachages, pas des URL complètes.
www.chromium.org/developers/design-documents/safebrowsing
Comment ça marche dans Firefox:
support.mozilla.org/en-US/kb/how-does-phishing-and-malware-protection-work

Mais à quoi sert GSB uniquement à partir de hachages?

Peut-être parce que Google est également une entreprise qui scanne l'intégralité d'Internet et possède une base de données dans laquelle il peut facilement trouver un hachage et ainsi recevoir les URL des sites visités et les analyser.

Ce que Google révèle.

Par conséquent, Google peut recevoir les caractéristiques comportementales des sites, même si Google Analytics n'est pas installé sur le site. Toutes les données sont fournies gratuitement par GSB.

Malgré ses propres règles pour les «bonnes» applications, lors de l'installation de Chrome, il n'y a pas de case à cocher «Activer la navigation sécurisée» et il n'est évident pour personne que Chrome envoie des informations au GSB.
( Ma conclusion personnelle est que GSB n'est pas du tout désintéressé des voisins )

Mais j'aimerais que GSB respecte au moins les normes généralement acceptées en termes de responsabilité pour ses actions, soit ouverte et compréhensible pour tous les participants au processus: utilisateurs, propriétaires de sites, fabricants de logiciels.
( ne vous fâchez pas, s'il vous plaît! )