Navegación segura de Google: los problemas provienen de donde no esperaron

Google Safe Browsing de repente encontró un virus en mi sitio. [WNC-611600] Se detectó software malicioso o no deseado en el sitio ... (que no estaba allí, como resultó más tarde).



Los visitantes del sitio ven una ventana roja de pantalla completa con el texto de que el sitio contiene malware, y los autores del sitio est√°n tratando de enga√Īarlos para que instalen estos programas en su computadora para cambiar la p√°gina de inicio o mostrar publicidad adicional en los sitios (todo esto es una forma de calumnia).

Y los usuarios se van, corren desde el sitio, porque creen todo lo que está escrito en la pantalla roja. Y no los culpo. Cualquiera en su lugar haría lo mismo.

Falso positivo Error de antivirus!

Sucede Ahora escribiremos a Google, lo descubrir√°n y la justicia triunfar√° en un instante.

De hecho, todo resulta más complicado y el camino hacia la justicia es espinoso y está lleno de pérdidas de tiempo y dinero debido a acciones incorrectas.

Pero esto no es lo peor.

El problema es que el error no es aislado. No solo lo sufro. Y Google no puede solucionarlo por completo. Al menos por ahora.

Entonces, mientras m√°s personas se enteren, mejor.

Y tal vez alguien importante en Google lea, llame y diga:
- Lo siento, Dima! Nuestro cant. (solo mis sue√Īos que no creo en m√≠ mismo)

Entre paréntesis está mi voz interior, que no está de acuerdo con la principal en todo y siempre quiere usar lenguaje grosero. Por lo cual me disculpo de antemano.

Vamos a resolverlo en orden.

¬ŅQu√© es la navegaci√≥n segura de Google?


Google Safe Browsing (GSB) ha estado protegiendo alrededor de 3 mil millones de dispositivos (computadoras, tel√©fonos) en todo el mundo durante 12 a√Īos, desde 2007.

Muchos no saben sobre esto, ya que nunca instalaron dicho programa en su computadora. Y esto no es obligatorio, ya que GSB se instala autom√°ticamente en Chrome y sus clones, en Firefox y Safari. De aqu√≠ vinieron los impresionantes n√ļmeros de 3 mil millones.

GSB no es un complemento del navegador, pero se esconde en su configuración, que no es tan fácil de encontrar.

En Firefox, no encontrar√°s Google Safe Browsing. Aunque est√° instalado y activo por defecto.
En la configuraci√≥n de Firefox, Seguridad hay una opci√≥n "Bloquear contenido peligroso y enga√Īoso". Detr√°s de esta inscripci√≥n se esconde.

Parece que Firefox est√° protegiendo algo, aunque no lo est√°. Los desarrolladores de Firefox pueden cambiar su defensor en cualquier momento, por ejemplo, en Yandex Safe Browsing.

El navegador tiene un código incorporado que intercambia datos con el sistema de navegación segura y verifica los hash de URL y archivos con una tabla recibida de GSB. Dependiendo de los resultados, el navegador bloquea el acceso y muestra una imagen roja.

GSB controla totalmente a quién bloquear y quién no. Y el navegador hace todo lo que dicen.

Microsoft tiene su propia contraparte: Smart Screen, que no encontró nada malo en mi sitio y mis programas.

Smart Screen est√° integrado en Internet Explorer y Edge, cuya participaci√≥n es mucho m√°s peque√Īa que Chrome.

Ahora detective!


La historia comenzó en la madrugada del 30 de noviembre de 2018.

Recibí un correo electrónico de Google Search Console

[WNC-611600] Se detectó software malicioso o no deseado en el sitio ...

Esto es un error! Pensé

Porque era mi sitio y mis archivos identificados como maliciosos.

Mientras desayunaba, aparecieron las mismas letras en mi segundo sitio y aument√≥ el n√ļmero de archivos "maliciosos".

Estoy corriendo al trabajo.

Comprobado los archivos. Todos est√°n firmados digitalmente y al descargarlos estaba convencido de que la firma es v√°lida. La firma no es nueva, emitida hace m√°s de un a√Īo.

Todos encontraron archivos con diferentes fechas, pero no muy antiguos, desde una semana hasta un mes.
Los subió a Virustotal con una doble verificación.

Limpio!

He estado creando programas para Windows durante 20 a√Īos y durante este tiempo ha habido detecciones falsas de antivirus.

"Bueno, no en el primero", pensé.

En una carta de Google sugirieron enviar una apelación, lo que hice de inmediato.
Dos horas después, llegó la respuesta de que la apelación fue desestimada .

Y no hay comentarios sobre la respuesta.

En la siguiente carta, Google anunció que había bloqueado todo el dominio del sitio y todas las páginas desde donde se ubicaban los enlaces a los archivos.

La lógica de sus acciones es aparentemente la siguiente: si la página contiene un enlace a un archivo malicioso, entonces esta página se considera maliciosa. Si los enlaces están en la página principal del sitio, entonces todo el dominio.

Cuando ingresaron al sitio, los usuarios vieron una terrible ventana roja a pantalla completa: ‚ÄúEl sitio que se encuentra m√°s adelante contiene programas da√Īinos‚ÄĚ.

Al descargar un archivo, se marca como malicioso y, en principio, puede abrirlo, confirmando varias veces que estoy seguro de que quiero abrir este archivo. No creo que al menos uno de los usuarios habituales del sitio haga esto.

Firma robada?

Realicé varios experimentos: firmé el archivo con otro certificado (EVO, firma en el token), creé un proyecto vacío en C ++ Builder, lo ensamblé, firmé el archivo y lo subí al sitio.

Google lo consideró un virus.

De lo cual concluí que ahora él considera que todos los archivos de este dominio son maliciosos, creados después de un cierto tiempo .

Google consideró que el archivo anterior hace un mes estaba completamente limpio.

Sé que nada cambió fundamentalmente (no agregué virus allí).
También fue vergonzoso que la detección fuera de alguna manera selectiva. Por alguna razón, Google consideró que la versión estándar del programa era viral, y la dorada era pura ( probablemente el oro protege contra los virus ).

Todo se ve√≠a extra√Īo.

En una carta de Google, sugirieron crear un tema en el foro de Google.

Lo hice

En respuesta, recibí un mensaje de un moderador secreto que ya estaba viendo el tercer caso en un día.

Revis√© el foro y encontr√© muchas respuestas del moderador. El compa√Īero trat√≥ de ayudar lo m√°s posible ( ofreci√≥ consejos in√ļtiles ), pero no trabaj√≥ en Google y realmente no pudo ayudar. Pero otras v√≠ctimas comenzaron a registrarse en el tema.

¬°Resulta que no estoy solo!

Enlace al foro de Google .

Comenc√© a buscar en el foro de Google Webmasters casos similares con un final feliz y encontr√© uno el a√Īo pasado. Incluso recibi√≥ una respuesta de un "probable empleado de Google" que sugiri√≥ enviar todos los falsos positivos directamente desde Chrome a trav√©s de la funci√≥n Informar un problema .

Doy su respuesta:

Sergey_Semenov:
Si no ayuda despu√©s de una revisi√≥n en la consola, env√≠e un informe de problemas de Chrome desde el navegador (Alt + Shift + I) diciendo que es una buena compa√Ī√≠a de sombrero blanco y que sus archivos est√°n absolutamente limpios. Claramente nos ayud√≥ porque todos los problemas en la consola de Google desaparecieron despu√©s del informe de problemas de Chrome sin solicitar otra revisi√≥n.
Es un poco extra√Īo informar un error en forma de notificaci√≥n sobre programas y sitios no deseados. Pero no hay una forma falsa positiva separada ni en Chrome ni en el sitio web de GSB.
Probablemente, Google considera que no tienen errores ( sin palabras ).

La noche fue alarmante. ( En realidad, es mucho peor. Pens√© qu√© hacer. C√≥mo vivir. Bueno, al menos el ni√Īo ya ha crecido )

El n√ļmero de v√≠ctimas aument√≥. Todos estaban unidos por el hecho de que eran fabricantes de programas para Windows y, en un grado u otro, ten√≠an una conexi√≥n con el entorno de programaci√≥n Delphi .

Bicho Delphi?
( No creo ... )

Lista incompleta de víctimas: Greatis Software (RegRun, UnHackMe, BootRacer), Scooter Software (Beyond Compare), IBE Software (HelpNDoc), Blumentals Software (HTMLPad, WeBuilder, RapidPHP), Balanced Scorecard Software (BSC Designer), SpamBully, Gillmeister Software ( Rename Expert), Autorun Organizer (Chemtable) ...

9 de cada 10 utilizaron el instalador Innosetup, que está escrito en Delphi. Uno usó Nullsoft. Todos los archivos fueron firmados con firmas digitales de empresas.

La línea de negocios es diferente para todos, pero pacífica: editor PHP, archivador, programa de comparación de archivos, complemento de Power Point, administrador de inicio, programa de creación de archivos de ayuda.
No me anuncio, pero tengo un programa que elimina virus ( es f√°cil mezclar un virus y un antivirus ).

Y el otro funciona en algunas grandes empresas de todo el mundo (Parlamento Europeo, Western Digital, Policía Metropolitana, bancos, etc.). Lo que podría resultar en grandes problemas.

Las opciones con caídas en Delphi e Inno Setup se conocían anteriormente.

Fue vergonzoso que el n√ļmero de v√≠ctimas, aunque en aumento, no fuera global. Hay muchas compa√Ī√≠as en el mundo que usan instaladores y programas de Delphi Inno Setup.

¬ŅPor qu√© no sufren?

Pensando en este problema, comencé a "limpiar" los sitios, eliminando enlaces a archivos supuestamente maliciosos. Hubo varios archivos de descarga desde los que podía descargar los mismos archivos y donde Google no los obtuvo.

Donde llegó el GSB fue malo. También fueron etiquetados. La página de mi programa en Fileforum.com se encontró con pantallas rojas. Download.com simplemente bloqueó la cuenta de mi empresa y eliminó todos los programas de su sitio web.

Name.com (una divisi√≥n de IBM) ha denegado el acceso a sus servidores DNS para el dominio. Este es un da√Īo que es dif√≠cil de reparar de inmediato.

Limpié los sitios de enlaces. Enlaces de programa enviados a Google.

¡Y he aquí!

Un día después de que todo el archivo fue enviado a GSB, los sitios fueron enviados para su revisión, Google retrocedió y eliminó todas sus reclamaciones.

Todos los archivos quedaron limpios como una l√°grima. ¬°Tanto nuevos como viejos!

¡Y todas las otras víctimas también!

Volvimos a la vida, al trabajo ( y comenzamos a vivir felices y no morimos en un día ).

Y todo estaría bien si ...

¡Después de una semana, publiqué una nueva versión del programa y después de 2 horas se detectó como malicioso!

Fue un duro golpe ( me senté y luego me acosté ).

R√°pidamente restaur√© la versi√≥n anterior. Enviado para su revisi√≥n. Por la ma√Īana, todo fue aclarado.

Desde entonces hago el procedimiento constantemente antes de cargar nuevas versiones:

  1. Puse el nuevo archivo en un nuevo directorio en el sitio.
  2. Enviar a través de Chrome, enlace Informar un problema.
  3. Estoy esperando un par de horas.
  4. Publico la nueva versión en un nuevo sitio.

No tuve m√°s viajes.

La recaída ocurrió nuevamente en una de las víctimas el 30 de enero .

Me escribió por correo y juntos resolvimos el problema en aproximadamente un día. En febrero, otro autor de los programas tuvo el mismo problema. Lo vi en RSDN.

El problema de los falsos positivos no est√° resuelto (y nadie lo va a resolver).

¬ŅQu√© temes ahora el resto de tu vida?




Si no tienes suerte, prueba esto.
La metodología de las acciones basadas en la experiencia personal:

  1. No intente disputar de inmediato a trav√©s de Google Search Console. Puede perder tiempo y aumentar su da√Īo.
  2. Limpie los archivos encontrados por Google de los sitios. Si te vas, el da√Īo puede ser mayor.
  3. Si hay versiones antiguas de archivos, resta√ļrelos. De lo contrario, busque d√≥nde est√°n alojados sus archivos en Internet y Google no los prohibir√°. Enviar tr√°fico all√≠.
  4. Envíe su sitio limpio a Revisión a través de Google Search Console.
  5. Cargue sus archivos sospechosos (un nuevo directorio, otro sitio) a una nueva ubicaci√≥n y env√≠e enlaces a archivos definidos incorrectamente a trav√©s de Informar problema. La nueva consola de b√ļsqueda tiene el mismo enlace. Entonces Chrome es opcional.
  6. Espere excusas dentro de las 2 horas de GSB y dentro de las 24 horas de la Consola de b√ļsqueda de Google.
  7. No habr√° respuesta de GSB.

Puede verificar el estado de los enlaces buscando en el sitio.

Primera conclusión: el sistema de apelación está muy mal construido


(¡ Usted tiene la culpa de todo, y por qué y en qué, no se lo diremos! )
Informe faltante Falso positivo .

Por ejemplo, Microsoft tiene uno. Y la respuesta viene de ellos. No se da de baja, pero los resultados de la prueba y las acciones tomadas por ellos. No hay respuestas de GSB.

Descubrí que en los Estados Unidos la gente llama al soporte de Google (no es fácil) y recibe el mismo consejo para escribir en el foro. Nadie en Google va a ayudar y responder.
Al foro asisten empleados de Google y es probable que lo lea (verificado para leer).
Pero rara vez responden. √öltimamente, nunca.
( Hablar contigo mismo y con la pared no es un buen sentimiento )

El tiempo de respuesta de la apelación es demasiado largo.

Puede tomar uno o dos días.

El veredicto de GSB es mansamente creído por todos (especialmente Google) .
(¬° Entonces no te lavar√°s! )

Todo lo bloqueará en Google: sitio web, Youtube, correo, etc., si hay un diagnóstico de GSB.
GSB lee y Gmail. Y no está claro qué y cómo puede reaccionar ( bloqueo las letras encontradas si tienen los nombres de los virus. Es decir, encuentra un virus en el texto. ¡Es un gran logro! )

Por lo tanto, como creo, se niegan a revisar. Si hay un veredicto de GSB, todo lo que dices se ignora. También es malo que nunca se conozcan los motivos del rechazo, porque Google no lo informa. ( Google envía respuestas estándar de que eres culpable de violar cualquier cosa y todo )

Veamos en qué se basa el veredicto de GSB.


¬°Resulta ser un misterio!



Los resultados de Virustotal, también propiedad de Google, pueden contradecir completamente las decisiones de GSB.

¬ŅConoces el antivirus GSB? No? Y yo no. ¬°Y no hay un antivirus de navegaci√≥n segura de Google!

GSB es una verificación de la URL o hash de un archivo contra una base de datos propia.

Nadie analiza el sitio en tiempo real, justo antes de llegar allí.
Nadie est√° viendo scripts o archivos JS en este sitio.

Solo un navegador de vez en cuando descarga la base de datos en su computadora y la verifica localmente.

El GSB tiene m√°s probabilidades de responder al comportamiento.
Apareció un nuevo archivo, desconocido para él, y el sistema se tensó.
Comenzaron a descargarlo m√°s de lo habitual desde este sitio, ya es peligroso.
¬ŅY si el mismo archivo est√° en un sitio "malo", por ejemplo, piratas?
( bueno, seguro, un virus )

Pero la raz√≥n es com√ļn. Solo una nueva versi√≥n del programa. Y comienzan a descargarlo m√°s.

Para GSB, es normal que si descarga un archivo usando un enlace, esté infectado. Descargue el mismo archivo desde otro enlace - limpio.
Sorprendido?
Yo tambien
Esto sugiere que el enlace se coloca en la base de datos sin verificar su contenido.
( Basado en los supuestos del robot )

Esto suele suceder en la etapa inicial de encendido del bulldog GSB. Luego, el bulldog se enciende completamente y agrega el hash del archivo a la base de datos. Después de eso, no importa desde qué URL se descargue el archivo. Está marcado en todas partes.

Al mismo tiempo, con una probabilidad del 99%, ni una sola persona analizó el archivo.

Luego el bulldog pasa a la siguiente etapa. Comienza a etiquetar todos los archivos similares en el sitio. Marca los archivos firmando digitalmente el archivo, si lo hay.

Prob√© este proceso creando un proyecto vac√≠o y compil√°ndolo en un archivo exe. El archivo firmado se detecta como malicioso. La √ļltima etapa: todos los archivos del dominio se detectan como peligrosos.

La lógica de las acciones del bulldog es clara: agarrar y detener la distribución del archivo lo antes posible.

A juzgar por el historial de las detecciones, está claro que el problema comenzó con la detección de URL (no se detectó el hash del archivo). Luego, la detección creció hasta el punto de que cualquier archivo nuevo del sitio se consideraba malicioso.

La detección se basa exclusivamente en una máquina basada en "principios desconocidos".
En cualquier caso, todo esto se llama "heurística" con un cierto grado de probabilidad.
Y el veredicto de dicho sistema no debe ser VIRUS, sino POSIBLE sospecha.

¬ŅPor qu√© los viajes aparecieron al mismo tiempo para muchos, pero nunca antes hab√≠an aparecido?

Supongo que surgió algo en el GSB, por ejemplo, entrenó una red neuronal.
La red neuronal encuentra archivos similares. Desafortunadamente, nuestros archivos resultaron ser similares con alg√ļn tipo de virus.

Y el GSB lo considera motivo suficiente para culpar al crimen.
Luego, elimine en silencio sus errores y felizmente informe cu√°ntos virus encontraron.

( Si la corte trabaja de acuerdo con tal esquema, entonces cualquiera puede terminar en la c√°rcel ma√Īana )

Los peque√Īos sufren


Todas las v√≠ctimas son peque√Īas empresas que tienen dificultades para demandar a Google. Aparentemente, tienen grandes en la lista blanca. ( y puedes ignorar a los peque√Īos )

Seg√ļn tengo entendido, por el momento, lo √ļnico que puede ayudar a Google es eliminar las URL y los hashes de una lista incorrecta por solicitud.

¬ŅQuiz√°s el GSB es tan bueno que derrot√≥ al malware en todo el mundo?
No asi.
He estado conociendo los mismos sitios con malware durante muchos a√Īos y se sienten muy bien. La cantidad de actos que alardea el GSB tampoco puede convencerme. Malvar se reproduce f√°cil y r√°pidamente.

La idea misma de verificar contra una determinada base de datos, que también se descarga localmente, implica un cierto retraso en el tiempo.
( Ya atrapado, y luego la base descargada )

Segunda conclusión: no confíe en el GSB para proteger y ahorrar


Aquí, se necesitan medios completamente diferentes.

¬ŅPor qu√© Google necesita esta lucha contra los virus?


¬ŅPara qu√© sirven todos estos esfuerzos del equipo GSB?
¬ŅHacer del mundo un lugar mejor?
¬ŅO recibir informaci√≥n sobre los sitios visitados por los usuarios?

Google asegura que verifica las URL de los sitios solo por hash y localmente en el cliente, y no en el servidor. Y envía solicitudes a los servidores de Google utilizando solo hashes, no URL completas.
www.chromium.org/developers/design-documents/safebrowsing
Cómo funciona en Firefox:
support.mozilla.org/en-US/kb/how-does-phishing-and-malware-protection-work

Pero, ¬Ņde qu√© sirve GSB solo a partir de hashes?

Tal vez porque Google también es una empresa que escanea todo Internet y tiene una base de datos en la que puede encontrar fácilmente un hash y así recibir las URL de los sitios visitados y analizarlos.

Lo que revela Google.

Como resultado, Google puede recibir las características de comportamiento de los sitios, incluso si Google Analytics no está instalado en el sitio. Todos los datos son proporcionados por GSB absolutamente gratis.

A pesar de sus propias reglas para aplicaciones "buenas", al instalar Chrome no hay una casilla de verificación "Habilitar navegación segura" y no es obvio para nadie que Chrome envíe información al GSB.
( Mi conclusión personal es que GSB no es una preocupación desinteresada para los vecinos )

Me gustaría que GSB siguiera al menos las normas generalmente aceptadas en términos de responsabilidad por sus acciones, que sea abierto y comprensible para todos los participantes en el proceso: usuarios, propietarios de sitios, fabricantes de software.
(¬° no te enfades, por favor! )

Source: https://habr.com/ru/post/440240/


All Articles