Usar métodos ofensivos para enriquecer la Inteligencia de amenazas

Hoy, Threat Intelligence, o la recopilación activa de información sobre amenazas a la seguridad de la información, es una herramienta esencial en el proceso de identificación de incidentes de seguridad de la información. Las fuentes típicas de TI incluyen suscripciones gratuitas con indicadores maliciosos, boletines de fabricantes de hardware y software que describen vulnerabilidades, informes de investigadores de seguridad con descripciones detalladas de amenazas, así como suscripciones comerciales de proveedores de TI. Además, a menudo la información obtenida utilizando las fuentes anteriores no tiene un grado suficiente de integridad y relevancia. El uso de OSINT (inteligencia de código abierto) y métodos ofensivos (es decir, métodos que no son característicos del defensor sino del atacante) en la seguridad de la información, que se discutirán en este artículo, pueden contribuir a mejorar la eficiencia y mejorar la calidad de TI.

Descargo de responsabilidad

Este artículo es solo para fines informativos. El autor no es responsable de posibles daños y / o interrupciones de las redes y / o servicios de terceros asociados con el desempeño de ciertas acciones descritas en el artículo. El autor también alienta a los lectores a cumplir con la ley.

No en cambio, sino juntos

Me gustaría hacer una reserva de inmediato para que no se trate de rechazar o reemplazar Threat Intelligence con información recibida de fuentes tradicionales pagas y gratuitas, sino de complementarla y enriquecerla.

Por lo tanto, el uso de métodos TI adicionales puede aumentar su eficiencia y ayudar a resolver una serie de problemas. Por ejemplo, con la próxima epidemia de IoT que afecta ciertas versiones vulnerables de firmware, ¿qué tan pronto puedo obtener un feed con las direcciones IP de dispositivos potencialmente vulnerables para detectar rápidamente su actividad en el perímetro? O cuando las reglas del sistema de monitoreo son activadas por un indicador (dirección IP o nombre de dominio) que se marcó como malicioso hace un año o más, cómo entender si aún sigue siendo malicioso, siempre que inicie alguna verificación adicional del indicador como "Por ahora" suele ser imposible.

Es decir, la adición y el enriquecimiento serán especialmente útiles para los indicadores de mediana edad de acuerdo con la "pirámide del dolor" de David Bianco [0] (direcciones IP, nombres de dominio, artefactos de red), sin embargo, en algunas circunstancias es posible obtener nuevos indicadores de larga duración (arriba de la pirámide) analistas

Exploración de Internet

Uno de los métodos útiles para obtener Threat Intelligence es el escaneo en red.


Al resolver la tarea de expandir el alcance de la Inteligencia de amenazas, el escaneo se dirigirá a todo Internet. Al escanear un espacio de direcciones públicas (~ 3.700 millones de direcciones IPv4, excluidas las direcciones reservadas), puede extraer la siguiente información útil:

• Qué nodos son vulnerables a vulnerabilidades que se explotan ampliamente como parte de campañas maliciosas reales y, en vista de este hecho, son fuentes potenciales de exposición maliciosa.
• Qué nodos son los servidores de control de las redes de botnets [1] , cuyos accesos pueden identificarse mediante un nodo comprometido en el perímetro protegido.
• Qué nodos pertenecen a la parte no pública de las redes anónimas distribuidas, que se pueden usar para salir discretamente sin control fuera del perímetro protegido.
• Información más detallada sobre los nodos "iluminados" en la operación del sistema de monitoreo.

Selección de herramienta

A lo largo de los años de desarrollo de las redes de información, se han creado una gran cantidad de herramientas para el escaneo de redes. Entre el software actual, se pueden distinguir los siguientes escáneres:

• Nmap [2]
• Zmap [3]
• Masscan [4]

Considere brevemente las principales ventajas y desventajas de estas herramientas para el enriquecimiento de TI en el espacio de Internet.

Nmap

Quizás el escáner de red más famoso, creado hace 20 años. Debido a la posibilidad de utilizar secuencias de comandos personalizadas (a través del motor de secuencias de comandos de Nmap), esta es una herramienta extremadamente flexible, que no se limita a la simple recopilación de "banners" aplicados. Por el momento, se ha escrito una gran cantidad de scripts NSE, muchos de los cuales están disponibles de forma gratuita. Dado que Nmap monitorea cada conexión, en otras palabras, tiene una naturaleza síncrona, no vale la pena usarla para redes grandes como Internet debido a la baja velocidad del escáner. Al mismo tiempo, es aconsejable utilizar esta herramienta en pequeñas muestras de direcciones obtenidas por herramientas más rápidas, debido al poder de NSE.

Zmap

Un escáner de red asíncrono bastante conocido, aunque no el primero de su tipo, que apareció en 2013. Según el informe de los desarrolladores publicado en la 22ª conferencia USENIX Security Simposium [5] , la herramienta puede escanear todo el rango de direcciones públicas, ejecutarse en una computadora promedio con una conexión a Internet de gigabits, en menos de 45 minutos (a través de un puerto). Los beneficios de Zmap incluyen:

• Alta velocidad; Con el marco PF_RING y una conexión de 10 gigabits, el tiempo de exploración teórico de un espacio público de direcciones IPv4 es de 5 minutos (un puerto).
• Soporte para escaneo aleatorio de direcciones de red.
• Soporte de módulo para escaneos TCP SYN, ICMP, consultas DNS, UPnP, BACNET [6] , sondeo UDP.
• Presencia en los repositorios de distribuciones comunes de GNU / Linux (además, hay soporte para Mac OS y BSD).
• Además de Zmap, se han desarrollado varios proyectos de utilidad relacionados que amplían la funcionalidad del escáner.

Si hablamos de las desventajas de Zmap, aquí podemos observar la capacidad de escanear direcciones en un solo puerto en este momento.

De los proyectos relacionados con Zmap, que amplían su funcionalidad para tareas de interés, se pueden distinguir los siguientes:

• ZGrab es un escáner de protocolo de aplicación compatible con los protocolos TTP, HTTPS, SSH, Telnet, FTP, SMTP, POP3, IMAP, Modbus, BACNET, Siemens S7 y Tridium Fox (capturador de pancartas con funciones avanzadas).
• ZDNS es una utilidad para consultas rápidas de DNS.
• ZTag es una utilidad para etiquetar los resultados de escaneo proporcionados por ZGrab.
• ZBrowse es una utilidad de distribución sin cabeza basada en Chrome para rastrear cambios en el contenido del sitio web.

Masscan

El escáner asíncrono, creado en el mismo año que Zmap, es similar en sintaxis de comando a Nmap.

El creador (Robert David Graham) declaró una mayor productividad que todos los escáneres asíncronos que existían en ese momento, incluido Zmap, logrado mediante el uso de una pila TCP / IP personalizada.

Ventajas del escáner:

• Alta velocidad con rendimiento teórico de hasta 10 millones de paquetes por segundo, lo que le permite escanear todo el espacio público IPv4 en pocos minutos (en un puerto) en una conexión de 10 gigabits, lo mismo que en Zmap usando el marco PF_RING.
• Soporte para protocolos TCP, SCTP y UDP (a través del envío de cargas UDP desde Nmap).
• Soporte para escaneo aleatorio de direcciones de red.
• Soporte para seleccionar tanto el rango de IP como el rango de puertos al escanear.
• Soporte para varios formatos para generar resultados de escaneo (XML, grepable, JSON, binario, como una lista).

Al mismo tiempo, el escáner tiene varias desventajas:

• En relación con el uso de una pila TCP / IP personalizada, se recomienda ejecutar una exploración en una IP dedicada para evitar conflictos con la pila del sistema operativo.
• En comparación con ZGrab, las posibilidades de capturar pancartas son bastante limitadas.

Cuadro comparativo de escáner

La siguiente tabla de resumen proporciona una comparación de la funcionalidad de estos escáneres.

Selección de objetivos y método de escaneo

Después de elegir qué herramientas usar, debe decidir sobre el objeto y el propósito del escaneo, es decir, comprender qué y por qué escanear. Si el primero, como regla, no surgen preguntas (este es un espacio público de direcciones IPv4 con una serie de excepciones), entonces con el segundo todo depende del resultado final deseado. Por ejemplo:

• Para identificar nodos que están sujetos a una vulnerabilidad particular, es razonable pasar primero por el rango escaneado con una herramienta rápida (Zmap, Masscan) para identificar nodos con puertos abiertos de servicios vulnerables; después de finalizar la lista de direcciones, debe usar Nmap con el script NSE correspondiente, si existe, o crear un script personalizado basado en la información disponible sobre la vulnerabilidad en las publicaciones de los investigadores de seguridad. A veces, un simple grep es suficiente para los banners de aplicaciones recopilados, porque muchos servicios muestran información sobre su versión.
• Para identificar los nodos de la infraestructura oculta, tanto las redes anónimas como los nodos C2 (es decir, los servidores de control de las redes botnet), será necesario compilar sondas / cargas útiles personalizadas.
• Para resolver una amplia gama de problemas en la identificación de nodos comprometidos, partes de la infraestructura de redes anónimas y otras cosas, la recopilación y el análisis de certificados pueden dar mucho durante los apretones de manos TLS.

Elección de infraestructura

El hecho de que los escáneres rápidos modernos puedan mostrar resultados impresionantes en recursos bastante modestos del procesador promedio no significa que la carga en la infraestructura de la red sea insignificante. Debido a los detalles del tráfico generado durante el escaneo, se obtiene una tasa suficientemente significativa de paquetes por segundo. Según la experiencia, un núcleo del procesador promedio (en una CPU de producción de los últimos años, en un entorno virtual, en cualquier sistema operativo, sin ningún ajuste de la pila TCP / IP) es capaz de generar un flujo del orden de 100-150 mil paquetes por segundo por línea de ~ 50 Mb / s , que es una carga grave para los enrutadores de software. El equipo de red de hardware también puede tener problemas para alcanzar el límite de rendimiento de ASIC. Al mismo tiempo, a una velocidad de exploración de 100-150 Kpps (miles de paquetes por segundo), pasar por alto el rango público de IPv4 puede llevar más de 10 horas, es decir. una cantidad de tiempo bastante significativa. Para un escaneo realmente rápido, debe usar una red distribuida de nodos de escaneo que divida el grupo escaneado en partes. También es necesaria una orden de exploración aleatoria para que la utilización de canales de Internet y la carga por lotes de equipos de proveedores en la "última milla" no sea significativa.

Dificultades y momentos "sutiles"

En la práctica, cuando se realizan exploraciones masivas de redes, uno puede encontrar una serie de dificultades, tanto de naturaleza tecnológica como organizativa-legal.

Problemas de rendimiento y disponibilidad

Como se mencionó anteriormente, el escaneo masivo de la red crea un flujo de tráfico con un alto valor de PPS, causando una gran carga tanto en la infraestructura local como en la red del proveedor a la que están conectados los nodos de escaneo. Antes de realizar cualquier análisis con fines de investigación, es imprescindible coordinar todas las acciones con los administradores locales y los representantes del proveedor. Por otro lado, pueden producirse problemas de rendimiento en los nodos de exploración finales cuando se alquilan servidores virtuales en servicios de alojamiento de Internet.


Además, al identificar nodos vulnerables, vale la pena considerar que ciertas comprobaciones de NSE pueden conducir a una denegación de servicio en los nodos escaneados. Tal desarrollo de la situación no es simplemente no ético, sino que definitivamente se ubica fuera del campo legal y conlleva la aparición de consecuencias en forma de responsabilidad hasta penal.

¿Qué estamos buscando y cómo?

Para encontrar algo, necesita saber cómo buscar algo. Las amenazas evolucionan constantemente y se necesita constantemente un nuevo estudio analítico para identificarlas. A veces, los análisis publicados en los documentos de investigación se vuelven obsoletos, lo que los lleva a realizar su propia investigación.

Abuso de quejas

Al escanear Internet, existe casi un 100% de riesgo de recibir un flujo de quejas de abuso. Particularmente molesto es el abuso generado automáticamente para un par de docenas de paquetes SYN. Y si los escaneos se repiten regularmente, también pueden fluir las quejas creadas manualmente.


No tome este abuso a la ligera, porque:

• En el caso de quejas, el proveedor de alojamiento suele bloquear el tráfico hacia o desde las máquinas virtuales alquiladas o incluso suspende su operación.
• Un ISP puede deshabilitar el enlace ascendente para eliminar los riesgos de bloquear el sistema autónomo.

La mejor práctica para minimizar las quejas es:

1. Conocimiento de los Términos de servicio de su proveedor de Internet / hosting.
2. Crear una página de información sobre las direcciones de origen del escaneo informando sobre el propósito del escaneo; haciendo aclaraciones apropiadas en los registros TXT de DNS.
3. Aclaración de escaneos al recibir quejas de abuso.
4. Mantener una lista de exclusiones del escaneo, además de la exclusión de subredes que se aplican a la primera solicitud, brindando aclaraciones sobre el procedimiento para hacer exclusiones en la página de información.
5. El escaneo ya no es más frecuente que el requerido para resolver la tarea.
6. Distribución del tráfico de escaneo por origen, direcciones de destino, así como el momento en que es posible.

Outsourcing de escaneo de red

La realización de exploraciones de masas independientes requiere un enfoque equilibrado (los riesgos se describen anteriormente), aunque debe tener en cuenta que si el procesamiento analítico de los resultados de exploración utilizados no es lo suficientemente profundo, el resultado final puede ser insatisfactorio. Al menos en términos técnicos, puede facilitar la tarea utilizando herramientas comerciales existentes, tales como:

• Shodan [8]
• Censys [9]
• ZoomEye [10]

Shodan

El primer y más famoso motor de búsqueda de servicios publicados en Internet, creado originalmente como un motor de búsqueda IoT y lanzado en 2009 por John Materley [11] . Actualmente, el motor de búsqueda ofrece varios niveles de acceso a la información dentro de sí mismo. Sin registro, las posibilidades son muy básicas, al registrarse y comprar una membresía, la siguiente funcionalidad está disponible:

• Búsqueda por filtros básicos.
• Emisión de información detallada sobre nodos ("datos en bruto").
• Una API "básica" con la capacidad de integrarse con utilidades comunes como Maltego, Metasploit, Nmap y otras.
• La capacidad de exportar resultados de búsqueda (por una tarifa, para "Créditos" - la moneda interna del servicio).
• La capacidad de escanear a pedido direcciones y rangos individuales (por una tarifa, para "Créditos").

Las características mencionadas ya son suficientes para el OSINT básico [12] , sin embargo, el motor de búsqueda revela completamente sus capacidades con una suscripción Enterprise, a saber:

• Análisis bajo demanda de todo el rango público de IPv4 de Internet, incluida la verificación del rango especificado de puertos y la especificación de colectores de banners específicos del protocolo.
• Notificaciones en tiempo real basadas en los resultados de la ejecución de análisis.
• La capacidad de cargar resultados de análisis sin procesar para un análisis posterior (sin restricciones, toda la base de datos está disponible).
• La capacidad de desarrollar recopiladores personalizados para tareas específicas (protocolos no estándar, etc.).
• Acceso a resultados de escaneos históricos (hasta octubre de 2015).

El proyecto Shodan ha creado una serie de proyectos relacionados, como cazadores de malware, escaneo de honeypot, exploits, enriqueciendo los resultados del escaneo.

Censys

Motor de búsqueda en IoT y no solo, creado por el autor de Zmap Zakir Durumerik y presentado públicamente en 2015. El motor de búsqueda utiliza la tecnología Zmap y una serie de proyectos relacionados (ZGrab y ZTag). Sin registro, a diferencia de Shodan, el motor de búsqueda está limitado a 5 solicitudes por día desde una IP. Después del registro, se amplían las posibilidades de uso: aparece una API, se aumentan los resultados de búsqueda de solicitudes (hasta 1000 resultados), sin embargo, el acceso más completo, incluida la descarga de datos históricos, solo está disponible en el plan Enterprise.

Las ventajas del motor de búsqueda sobre Shodan incluyen las siguientes características:

• No hay restricciones en los filtros de búsqueda en los planes tarifarios básicos.
• Alta velocidad de actualización de los resultados del escaneo automático (diariamente, según los autores; la velocidad de Shodan es mucho menor).

Las desventajas incluyen:

• Menos puertos escaneados en comparación con Shodan.
• Incapacidad para escanear "a pedido" (tanto por rangos de IP como por puertos).
• Menos profundidad para enriquecer los resultados con los medios "listos para usar" (lo cual es obvio, dado el mayor número de herramientas Shodan implementadas a través de proyectos relacionados).

Si los resultados recopilados en el rango de puertos admitidos por Censys son suficientes para lograr este objetivo, entonces la falta de la capacidad de escanear bajo demanda no debería ser un obstáculo grave debido a la alta velocidad de actualización de los resultados del escaneo.

Zoomeye

Un motor de búsqueda IoT creado por la compañía china de seguridad de la información Knowsec Inc en 2013. Hoy el motor de búsqueda funciona utilizando sus propios desarrollos: Xmap (escáner host) y Wmap (escáner web). El motor de búsqueda recopila información sobre un rango bastante amplio de puertos, cuando se realiza la búsqueda es posible clasificarlos de acuerdo con una gran cantidad de criterios (puertos, servicios, SO, aplicaciones) con detalles para cada host (el contenido de los banners de las aplicaciones). Los resultados de la búsqueda enumeran posibles vulnerabilidades para el software de aplicación identificado del proyecto SeeBug relacionado (sin verificar la aplicabilidad). Para las cuentas registradas, una API y una búsqueda web también están disponibles con un conjunto completo de filtros, pero con una limitación en el número de resultados mostrados. Para eliminar restricciones, se propone comprar un plan Enterprise. De las ventajas de un motor de búsqueda, podemos notar:

• Una gran cantidad de puertos escaneados (aproximadamente similares a Shodan).
• Soporte web ampliado.
• Aplicación e identificador del sistema operativo.

Entre las desventajas incluyen:

• Intervalo de actualización lento para resultados de escaneo.
• Incapacidad para escanear bajo demanda.
• El enriquecimiento de los resultados del escaneo se limita a la identificación de servicios, software de aplicación, sistema operativo y posibles vulnerabilidades.

Cuadro comparativo de servicios

La siguiente tabla de resumen proporciona una comparación de la funcionalidad de los servicios considerados.

Escaneate

La infraestructura propia también puede ser una fuente útil de TI, por lo que puede comprender qué nuevos hosts y servicios aparecieron en la red, ¿son vulnerables o incluso maliciosos? Si se pueden usar servicios externos para escanear el perímetro (por ejemplo, dicho caso de uso es oficialmente compatible con el caso del usuario de Shodan), entonces todas las acciones dentro del perímetro solo pueden llevarse a cabo de forma independiente. La gama de herramientas para el análisis de red en este caso puede ser bastante extensa: ambos son analizadores pasivos, como Bro [13] , Argus [14] , Nfdump [15] , p0f [16] y escáneres activos: Nmap, Zmap, Masscan y sus competidores comerciales. El marco IVRE [17] , que le permite obtener su propia herramienta similar a Shodan / Censys, puede ayudar a interpretar los resultados.



El marco fue desarrollado por un grupo de investigadores de seguridad de la información, uno de los autores es un desarrollador activo de la escasa utilidad [18] Pierre Lalet [19] . Entre las características del marco incluyen:

• El uso de análisis visuales para identificar patrones y anormalidades anormales.
• Motor de búsqueda avanzado con análisis detallado de los resultados del escaneo.
• Integración con utilidades de terceros a través de la API con soporte de Python.

IVRE también es adecuado para analizar grandes escaneos de Internet.

Conclusiones

El escaneo y la inteligencia de red activa son herramientas excelentes que han sido utilizadas por varios investigadores en el campo de la seguridad de la información. Sin embargo, para los guardias de seguridad "clásicos", estos métodos de trabajo siguen siendo nuevos. El uso de OSINT y métodos ofensivos en combinación con los medios defensivos clásicos fortalecerá significativamente la protección y asegurará su proactividad.


Mikhail Larin, experto en el Centro de Monitoreo y Respuesta a Incidentes de Seguridad de la Información Jet CSIRT, Jet Infosystems.