Google Safe Browsing - Probleme kamen von dort, wo sie nicht gewartet haben

Google Safe Browsing hat plötzlich einen Virus auf meiner Website gefunden. [WNC-611600] Vor Ort erkannte schädliche oder unerwünschte Software ... (die nicht vorhanden war, wie sich später herausstellte).



Besucher der Website sehen ein rotes Vollbildfenster mit dem Text, dass die Website Malware enthält, und die Autoren der Website versuchen, diese Programme auf Ihren Computer zu übertragen, um die Startseite zu ändern oder zusätzliche Werbung auf den Websites anzuzeigen (all dies ist eine Form der Verleumdung).

Und Benutzer verlassen die Website, weil sie alles glauben, was auf dem roten Bildschirm steht. Und ich beschuldige sie nicht. Jeder an ihrer Stelle würde das Gleiche tun.

Falsch positiv Antivirus-Fehler!

Es passiert. Jetzt schreiben wir an Google, sie werden es herausfinden und die Gerechtigkeit wird sofort triumphieren.

Tatsächlich ist alles komplizierter und der Weg zur Gerechtigkeit ist dornig und mit Zeit- und Geldverlusten aufgrund falscher Handlungen behaftet.

Das ist aber nicht das Schlimmste.

Das Problem ist, dass der Fehler nicht isoliert ist. Nicht nur ich leide darunter. Und Google kann das Problem nicht vollständig beheben. Zumindest für den Moment.

Je mehr Menschen davon erfahren, desto besser.

Und vielleicht liest, ruft und sagt jemand, der bei Google wichtig ist:
- Entschuldigung, Dima! Unsere Neigung. (nur meine Träume, die ich nicht an mich glaube)

In Klammern steht meine innere Stimme, die nicht in allem mit der Hauptstimme übereinstimmt und immer schlechte Sprache verwenden möchte. Dafür entschuldige ich mich im Voraus.

Lassen Sie es uns in der richtigen Reihenfolge herausfinden.

Was ist Google Safe Browsing?

Google Safe Browsing (GSB) schützt seit 2007 seit 12 Jahren weltweit rund 3 Milliarden Geräte (Computer, Telefone).

Viele wissen nichts davon, da sie ein solches Programm nie auf ihrem Computer installiert haben . Dies ist nicht erforderlich, da GSB automatisch in Chrome und seinen Klonen, in Firefox und Safari installiert wird. Von hier kamen die beeindruckenden Zahlen von 3 Milliarden.

GSB ist kein Browser-Add-On, sondern versteckt sich in seinen Einstellungen, die nicht so einfach zu erreichen sind.

In Firefox finden Sie Google Safe Browsing nicht. Obwohl es standardmäßig installiert und aktiv ist.
In den Einstellungen von Firefox, Sicherheit gibt es eine Option "Gefährlichen und irreführenden Inhalt blockieren". Hinter dieser Inschrift versteckt es sich.

Es sieht so aus, als ob Firefox selbst etwas schützt, obwohl dies nicht der Fall ist. Firefox-Entwickler können ihren Verteidiger jederzeit ändern, z. B. bei Yandex Safe Browsing.

Der Browser verfügt über einen integrierten Code, der Daten mit dem Safe Browsing-System austauscht und die Hashes von URLs und Dateien anhand einer von GSB empfangenen Tabelle überprüft. Abhängig von den Ergebnissen blockiert der Browser den Zugriff und zeigt ein rotes Bild an.

GSB kontrolliert ganz und gar, wen blockiert werden soll und wer nicht. Und der Browser macht alles, was sie sagen.

Microsoft hat sein eigenes Gegenstück - Smart Screen, das auf meiner Website und in meinen Programmen nichts Schlechtes gefunden hat.

Smart Screen ist in Internet Explorer und Edge integriert, deren Anteil viel kleiner als der von Chrome ist.

Jetzt Detektiv!

Die Geschichte begann am frühen Morgen des 30. November 2018.

Ich habe eine E-Mail von der Google Search Console erhalten

[WNC-611600] Vor Ort erkannte schädliche oder unerwünschte Software ...

Das ist ein Fehler! Dachte ich.

Weil es meine Website war und meine Dateien als bösartig identifiziert wurden.

Während ich frühstückte, kamen die gleichen Briefe über meine zweite Site und die Anzahl der gefundenen „bösartigen“ Dateien nahm zu.

Ich renne zur Arbeit.

Überprüfte die Dateien. Alle sind digital signiert und durch das Herunterladen war ich überzeugt, dass die Signatur gültig ist. Die Signatur ist nicht neu und wurde vor mehr als einem Jahr ausgestellt.

Alle gefundenen Dateien mit unterschiedlichen Daten, aber nicht sehr alt - von einer Woche bis zu einem Monat.
Hat sie mit doppelter Überprüfung auf Virustotal hochgeladen.

Sauber!

Ich erstelle seit 20 Jahren Programme für Windows und in dieser Zeit wurden falsche Antiviren-Erkennungen durchgeführt.

"Nun, nicht in der ersten", dachte ich.

In einem Brief von Google schlugen sie vor, einen Appell zu senden, was ich sofort tat.
Zwei Stunden später kam die Antwort, dass die Berufung zurückgewiesen wurde .

Und keine Kommentare zur Antwort.

Im nächsten Brief gab Google bekannt, dass die gesamte Domain der Website und alle Seiten, von denen aus Links zu Dateien gefunden wurden, blockiert wurden.

Die Logik seiner Handlungen ist anscheinend die folgende: Wenn die Seite einen Link zu einer schädlichen Datei enthält, wird diese Seite als bösartig angesehen. Wenn sich die Links auf der Hauptseite der Site befinden, dann die gesamte Domain.

Als sie die Site betraten, sahen die Benutzer ein schreckliches rotes Vollbildfenster: „Die Site vor ihnen enthält schädliche Programme“.

Wenn Sie eine Datei herunterladen, wird sie als bösartig markiert. Sie können sie grundsätzlich öffnen und mehrmals bestätigen, dass ich sicher bin, dass ich diese Datei öffnen möchte. Ich glaube nicht, dass mindestens einer der regulären Benutzer der Website dies tun wird.

Unterschrift gestohlen?

Ich habe mehrere Experimente durchgeführt: Ich habe die Datei mit einem anderen Zertifikat (EVO, Signatur auf dem Token) signiert, ein leeres Projekt in C ++ Builder erstellt, es zusammengestellt, die Datei signiert und auf die Site hochgeladen.

Google hielt es für einen Virus.

Daraus schloss ich, dass er jetzt alle Dateien aus dieser Domain als bösartig ansieht, die nach einer bestimmten Zeit erstellt wurden .

Google hat die alte Datei vor einem Monat als völlig sauber angesehen.

Ich weiß, dass sich daran nichts grundlegend geändert hat (ich habe dort keine Viren hinzugefügt).
Es war auch peinlich, dass die Erkennung irgendwie selektiv war. Aus irgendeinem Grund betrachtete Google die Standardversion des Programms als viral und die Goldversion als rein ( wahrscheinlich schützt Gold vor Viren ).

Es sah alles seltsam aus.

In einem Brief von Google schlugen sie vor, ein Thema im Google-Forum zu erstellen.

Ich habe es getan

Als Antwort erhielt ich eine Nachricht von einem geheimen Moderator, dass er bereits den dritten solchen Fall an einem Tag sah.

Ich habe das Forum überprüft und viele Antworten vom Moderator gefunden. Der Kamerad versuchte so viel wie möglich zu helfen ( bot nutzlose Ratschläge an ), aber er arbeitete nicht bei Google und konnte nicht wirklich helfen. Aber andere Opfer begannen sich für das Thema zu registrieren.

Es stellt sich heraus, dass ich nicht allein bin!

Link zum Google Forum .

Ich begann im Google Webmasters-Forum nach ähnlichen Fällen mit Happy End zu suchen und fand letztes Jahr einen. Es gab sogar eine Antwort von einem "wahrscheinlichen Google-Mitarbeiter", der vorschlug, alle Fehlalarme direkt von Chrome über die Funktion "Problem melden" zu senden.

Ich gebe seine Antwort:

Sergey_Semenov:

Wenn dies nach einer Überprüfung in der Konsole nicht hilft, senden Sie einen Chrome-Problembericht vom Browser (Alt + Umschalt + I), in dem Sie angeben, dass Sie ein gutes White-Hat-Unternehmen sind und Ihre Dateien absolut sauber sind. Es hat uns eindeutig geholfen, da alle Probleme in der Google-Konsole nach dem Chrome-Problembericht verschwunden waren, ohne dass eine weitere Überprüfung angefordert wurde.

Es ist etwas seltsam, einen Fehler in Form einer Benachrichtigung über unerwünschte Programme und Websites zu melden. Es gibt jedoch weder in Chrome noch auf der GSB-Website ein separates False Positive-Formular.
Wahrscheinlich betrachtet Google sie als fehlerfrei ( keine Wörter ).

Die Nacht war alarmierend. ( Eigentlich ist es viel schlimmer. Ich habe mir überlegt, was ich tun soll. Wie ich weiterleben soll. Nun, zumindest ist das Kind bereits erwachsen. )

Die Zahl der Opfer nahm zu. Alle waren sich einig, dass sie Hersteller von Programmen für Windows waren und bis zu dem einen oder anderen Grad eine Verbindung zur Delphi- Programmierumgebung hatten.

Delphi Bug?
( Ich glaube nicht ... )

Unvollständige Liste der Opfer: Greatis Software (RegRun, UnHackMe, BootRacer), Scooter-Software (Beyond Compare), IBE-Software (HelpNDoc), Blumentals-Software (HTMLPad, WeBuilder, RapidPHP), Balanced Scorecard-Software (BSC Designer), SpamBully, Gillmeister Software ( Experte umbenennen), Autorun Organizer (Chemtable) ...

9 von 10 verwendeten das Innosetup-Installationsprogramm, das in Delphi geschrieben ist. Man benutzte Nullsoft. Alle Dateien wurden mit digitalen Signaturen von Unternehmen signiert.

Die Branche ist für alle unterschiedlich, aber friedlich: PHP-Editor, Archivierer, Dateivergleichsprogramm, Power Point-Add-On, Startmanager, Hilfedateierstellungsprogramm.
Ich mache keine Werbung für mich selbst, aber ich habe ein Programm, das Viren entfernt ( es ist einfach, einen Virus und ein Antivirus zu verwechseln ).

Und die anderen arbeiten in einigen großen Unternehmen auf der ganzen Welt (Europäisches Parlament, Western Digital, Metropolitan Police, Banken usw.). Was könnte zu großen Problemen führen.

Optionen mit Stürzen auf Delphi und Inno Setup waren zuvor bekannt.

Es war peinlich, dass die Zahl der Opfer, obwohl sie zunahm, nicht global war. Es gibt viele Unternehmen auf der Welt, die Delphi Inno Setup-Installationsprogramme und -Programme verwenden.

Warum leiden sie nicht?

Als ich über dieses Problem nachdachte, begann ich, die Websites zu "bereinigen" und Links zu vermeintlich schädlichen Dateien zu entfernen. Es gab mehrere Download-Archive, aus denen Sie dieselben Dateien herunterladen konnten und die Google nicht erhalten hat.

Woher der GSB kam, war schlecht. Sie wurden auch markiert. Meine Programmseite auf Fileforum.com traf auf rote Bildschirme. Download.com hat einfach das Konto meines Unternehmens gesperrt und alle Programme von seiner Website entfernt.

Name.com (ein Geschäftsbereich von IBM) hat den Zugriff auf seine DNS-Server für die Domäne verweigert. Dies ist ein Schaden, der schwer sofort zu reparieren ist.

Ich habe die Websites von Links befreit. Programmlinks zu Google gesendet.

Und siehe da!

Einen Tag, nachdem die gesamte Datei an GSB gesendet wurde, wurden die Websites zur Überprüfung gesendet, Google zurückverfolgt und alle Ansprüche entfernt.

Alle Dateien wurden wie eine Träne sauber. Neu und alt!

Und all die anderen Opfer auch!

Wir kehrten zum Leben zurück, um zu arbeiten ( und begannen glücklich zu leben und starben nicht an einem Tag ).

Und alles wäre gut, wenn ...

Nach einer Woche habe ich eine neue Version des Programms veröffentlicht und nach 2 Stunden wurde es als bösartig erkannt!

Es war ein schwerer Schlag ( ich setzte mich und legte mich dann hin ).

Ich habe die alte Version schnell wiederhergestellt. Zur Überprüfung eingereicht. Am Morgen wurde alles geklärt.

Seitdem mache ich ständig den Vorgang, bevor ich neue Versionen hochlade:

1. Ich habe die neue Datei in ein neues Verzeichnis auf der Site gestellt.
2. Senden über Chrome, Link "Problem melden".
3. Ich warte ein paar Stunden.
4. Ich poste die neue Version auf einer neuen Seite.

Ich hatte keine Reisen mehr.

Bei einem der Opfer trat am 30. Januar erneut ein Rückfall auf .

Er schrieb mir per Post und zusammen lösten wir das Problem in ungefähr einem Tag. Im Februar hatte ein anderer Autor der Programme das gleiche Problem. Ich habe auf RSDN gesehen.

Das Problem der Fehlalarme ist nicht gelöst (und niemand wird es lösen).

Was fürchtet jetzt den Rest deines Lebens?

Wenn Sie auch kein Glück haben, versuchen Sie dies.
Die Methodik der Handlungen, die auf persönlichen Erfahrungen beruhen:

1. Versuchen Sie nicht, sofort über die Google Search Console zu streiten. Sie können Zeit verlieren und Ihren Schaden erhöhen.
2. Bereinigen Sie von Google gefundene Dateien von Websites. Wenn Sie gehen, kann der Schaden größer sein.
3. Wenn es alte Versionen von Dateien gibt, stellen Sie diese wieder her. Wenn nicht, überprüfen Sie, wo Ihre Dateien im Internet gehostet werden, und Google wird sie nicht verbieten. Senden Sie dort Verkehr.
4. Senden Sie Ihre bereinigte Website über die Google Search Console an Review.
5. Laden Sie Ihre verdächtigen Dateien (ein neues Verzeichnis, eine andere Site) an einen neuen Speicherort hoch und senden Sie über Report Issue Links zu falsch definierten Dateien. Die neue Suchkonsole hat den gleichen Link. Chrome ist also optional.
6. Warten Sie innerhalb von 2 Stunden von GSB und innerhalb von 24 Stunden von der Google Search Console auf Ausreden.
7. Es erfolgt keine Antwort von GSB.

Sie können den Status von Links überprüfen, indem Sie die Site durchsuchen.

Erste Schlussfolgerung: Das Berufungssystem ist sehr schlecht aufgebaut

( Sie sind für alles verantwortlich und warum und woran werden wir Ihnen nicht sagen! )
Fehlender Bericht Falsch Positives Formular.

Zum Beispiel hat Microsoft eine. Und die Antwort kommt von ihnen. Nicht abbestellen, sondern die Testergebnisse und die von ihnen ergriffenen Maßnahmen. Keine Antworten von GSB.

Ich habe festgestellt, dass in den USA Leute sich beim Google-Support anmelden (es ist nicht einfach) und den gleichen Rat erhalten, um im Forum zu schreiben. Niemand bei Google wird helfen und antworten.
Das Forum wird von Google-Mitarbeitern besucht und wird wahrscheinlich gelesen (überprüft, um gelesen zu werden).
Aber sie antworten selten. In letzter Zeit - niemals.
( Mit sich selbst und der Wand zu reden ist kein gutes Gefühl )

Die Reaktionszeit für die Berufung ist zu lang.

Es kann ein oder zwei Tage dauern.

Das GSB-Urteil wird von allen (insbesondere von Google) sanftmütig geglaubt .
( Dann wirst du dich nicht waschen! )

Alles blockiert Sie bei Google: Website, Youtube, E-Mail usw., wenn eine Diagnose von GSB vorliegt.
GSB liest und Google Mail. Und es ist nicht klar, was und wie es reagieren kann ( ich blockiere die gefundenen Nachrichten, wenn sie die Namen von Viren enthalten. Das heißt, es findet einen Virus im Text. Dies ist eine hohe Leistung! )

Daher weigern sie sich, wie ich denke, zu überprüfen. Wenn es ein GSB-Urteil gibt, wird alles, was Sie sagen, ignoriert. Es ist auch schlecht, dass Sie die Gründe für die Ablehnung nie erfahren, da Google dies nicht meldet. ( Google sendet Standardantworten, dass Sie sich schuldig gemacht haben, alles und jeden verletzt zu haben. )

Lassen Sie uns herausfinden, worauf das GSB-Urteil basiert.

Es stellt sich als Rätsel heraus!



Die Ergebnisse von Virustotal, ebenfalls im Besitz von Google, können den Entscheidungen von GSB völlig widersprechen.

Kennen Sie GSB Antivirus? Nein? Und ich nicht. Und es gibt kein Google Safe Browsing-Antivirenprogramm!

GSB ist eine Überprüfung der URL oder des Hash einer Datei anhand einer eigenen Datenbank.

Niemand analysiert die Site in Echtzeit, kurz bevor Sie dort ankommen.
Auf dieser Site werden keine JS-Skripte oder -Dateien angezeigt.

Von Zeit zu Zeit lädt nur ein Browser die Datenbank auf Ihren Computer herunter und überprüft sie lokal.

Der GSB reagiert eher auf Verhalten.
Eine neue, ihm unbekannte Datei erschien, und das System war angespannt.
Sie fingen an, es mehr als gewöhnlich von dieser Seite herunterzuladen - es ist bereits gefährlich.
Und wenn sich dieselbe Datei auf einer "schlechten" Site befindet, zum Beispiel Piraten?
( Na klar - ein Virus )

Aber der Grund ist alltäglich. Nur eine neue Version des Programms. Und sie fangen an, es mehr herunterzuladen.

Bei GSB ist es normal, dass eine Datei, die Sie über einen Link herunterladen, infiziert ist. Laden Sie dieselbe Datei von einem anderen Link herunter - bereinigen Sie sie.
Überrascht?
Ich auch.
Dies deutet darauf hin, dass der Link in der Datenbank platziert wird, ohne seinen Inhalt zu überprüfen.
( Basierend auf den Annahmen des Roboters )

Dies geschieht normalerweise in der Anfangsphase des Einschaltens der GSB-Bulldogge. Dann wird die Bulldogge vollständig eingeschaltet und fügt den Hash der Datei zur Datenbank hinzu. Danach spielt es keine Rolle, von welcher URL die Datei heruntergeladen wird. Es ist überall markiert.

Gleichzeitig analysierte mit einer Wahrscheinlichkeit von 99% keine einzige Person die Datei.

Dann geht die Bulldogge zur nächsten Stufe über. Er beginnt, alle ähnlichen Dateien auf der Site zu markieren. Es markiert Dateien durch digitales Signieren der Datei, falls vorhanden.

Ich habe diesen Prozess getestet, indem ich ein leeres Projekt erstellt und in eine exe-Datei kompiliert habe. Die signierte Datei wird als bösartig erkannt. Die letzte Phase: Alle Dateien aus der Domäne werden als gefährlich erkannt.

Die Logik der Aktionen der Bulldogge ist klar: Greifen Sie zu und stoppen Sie die Verteilung der Datei so schnell wie möglich.

Gemessen am Verlauf der Erkennungen ist klar, dass das Problem mit der URL-Erkennung begann (der Hash der Datei wurde nicht erkannt). Dann wuchs die Erkennung bis zu dem Punkt, dass alle neuen Dateien von der Site als bösartig angesehen wurden.

Die Erkennung erfolgt ausschließlich maschinell nach "unbekannten Prinzipien".
In jedem Fall wird dies alles mit einer gewissen Wahrscheinlichkeit als „Heuristik“ bezeichnet.
Und das Urteil eines solchen Systems sollte nicht VIRUS sein, sondern MÖGLICH verdächtig.

Warum erschienen die Reisen für viele zur gleichen Zeit, waren aber noch nie zuvor erschienen?

Ich vermute, dass im GSB etwas aufgetaucht ist, zum Beispiel ein neuronales Netzwerk trainiert hat.
Das neuronale Netzwerk findet ähnliche Dateien. Leider haben sich unsere Dateien mit einer Art Virus als ähnlich herausgestellt.

Und die GSB hält es für Grund genug, das Verbrechen zu beschuldigen.
Entfernen Sie dann stillschweigend ihre Fehler und melden Sie glücklich, wie viele Viren sie gefunden haben.

( Wenn das Gericht nach einem solchen Schema arbeitet, kann jeder morgen im Gefängnis landen. )

Die Kleinen leiden

Alle Opfer sind kleine Unternehmen, denen es schwer fällt, Google zu verklagen. Anscheinend haben sie große auf der weißen Liste. ( und Sie können die Kleinen einfach ignorieren )

Soweit ich weiß, kann Google derzeit nur helfen, URLs und Hashes auf Anfrage von einer fehlerhaften Liste zu entfernen.

Vielleicht ist das GSB so gut, dass es die Malware auf der ganzen Welt besiegt hat?
Nicht so.
Ich treffe seit vielen Jahren dieselben Websites mit Malware und sie fühlen sich großartig an. Die Anzahl der Dects, mit denen die GSB aufwartet, kann mich auch nicht überzeugen. Malvar brütet leicht und schnell.

Die Idee, eine bestimmte Datenbank zu überprüfen, die auch lokal heruntergeladen wird, impliziert eine gewisse Zeitverzögerung.
( Bereits gefangen und dann die Basis heruntergeladen )

Zweite Schlussfolgerung: Verlassen Sie sich beim Schutz und Speichern nicht auf das GSB

Hier werden ganz andere Mittel benötigt.

Warum braucht Google diesen Kampf gegen Viren?

Wofür sind all diese Bemühungen des GSB-Teams gedacht?
Die Welt zu einem besseren Ort machen?
Oder Informationen über von Benutzern besuchte Websites erhalten?

Google stellt sicher, dass die URLs von Websites nur per Hash und lokal auf dem Client und nicht auf dem Server überprüft werden. Und sendet Anfragen an Google-Server nur mit Hashes, nicht mit vollständigen URLs.
www.chromium.org/developers/design-documents/safebrowsing
So funktioniert es in Firefox:
support.mozilla.org/en-US/kb/how-does-phishing-and-malware-protection-work

Aber was nützt GSB nur aus Hashes?

Vielleicht, weil Google auch ein Unternehmen ist, das das gesamte Internet scannt und über eine Datenbank verfügt, in der es leicht einen Hash finden und so die URLs der besuchten Websites empfangen und analysieren kann.

Was Google offenbart.

Infolgedessen kann Google die Verhaltensmerkmale von Websites empfangen, auch wenn Google Analytics nicht auf der Website installiert ist. Alle Daten werden von GSB absolut kostenlos zur Verfügung gestellt.

Trotz seiner eigenen Regeln für "gute" Anwendungen gibt es bei der Installation von Chrome kein Kontrollkästchen "Sicheres Surfen aktivieren" und es ist für niemanden offensichtlich, dass Chrome Informationen an GSB sendet.
( Meine persönliche Schlussfolgerung ist, dass GSB überhaupt keine desinteressierte Sorge um die Nachbarn ist )

Ich möchte, dass GSB zumindest allgemein anerkannten Standards in Bezug auf die Verantwortung für sein Handeln folgt, offen und für alle Teilnehmer des Prozesses verständlich ist: Benutzer, Websitebesitzer, Softwarehersteller.
( Sei bitte nicht böse! )