Utiliser des méthodes offensives pour enrichir Threat Intelligence

Aujourd'hui, Threat Intelligence, ou la collecte active d'informations sur les menaces à la sécurité de l'information, est un outil essentiel dans le processus d'identification des incidents de sécurité de l'information. Les sources typiques de TI comprennent des abonnements gratuits avec des indicateurs malveillants, des bulletins de fabricants de matériel et de logiciels décrivant les vulnérabilités, des rapports de chercheurs en sécurité avec des descriptions détaillées des menaces, ainsi que des abonnements commerciaux de fournisseurs TI. De plus, souvent, les informations obtenues à l'aide des sources ci-dessus ne sont pas suffisamment complètes et pertinentes. L'utilisation d'OSINT (open source intelligence) et de méthodes offensives (c'est-à-dire des méthodes qui ne sont pas caractéristiques du défenseur mais de l'attaquant) dans la sécurité de l'information, qui seront discutées dans cet article, peut contribuer à améliorer l'efficacité et la qualité de TI.

AVIS DE NON-RESPONSABILITÉ

Cet article est à titre informatif uniquement. L'auteur n'est pas responsable des éventuels dommages et / ou perturbations des réseaux et / ou services de tiers liés à l'exécution de certaines actions décrites dans l'article. L'auteur encourage également les lecteurs à se conformer à la loi.

Pas à la place, mais ensemble

Je voudrais tout de suite faire une réserve sur le fait qu'il ne s'agira pas de refuser ou de remplacer Threat Intelligence par des informations reçues de sources traditionnelles payantes et gratuites, mais de les compléter et de les enrichir.

Ainsi, l'utilisation de méthodes TI supplémentaires peut augmenter son efficacité et aider à résoudre un certain nombre de problèmes. Par exemple, avec la prochaine épidémie IoT affectant certaines versions vulnérables du firmware, combien de temps puis-je obtenir un flux avec les adresses IP des appareils potentiellement vulnérables afin de détecter rapidement leur activité sur le périmètre? Ou lorsque les règles du système de surveillance sont déclenchées par un indicateur (adresse IP ou nom de domaine) qui a été marqué comme malveillant il y a un an ou plus, comment comprendre s'il reste malveillant, à condition que vous lanciez une vérification supplémentaire de l'indicateur comme «Pour l'instant» est généralement impossible.

Autrement dit, l'ajout et l'enrichissement seront particulièrement utiles pour les indicateurs de mi-vie selon la «pyramide de la douleur» de David Bianco [0] (adresses IP, noms de domaine, artefacts de réseau), cependant, dans certaines circonstances, il est possible d'obtenir de nouveaux indicateurs à longue durée de vie (en haut de la pyramide) les analystes.

Analyse Internet

L'analyse des réseaux est l'une des méthodes utiles pour obtenir Threat Intelligence.


Lorsque vous résolvez la tâche d'élargir la portée de Threat Intelligence, l'analyse ciblera l'intégralité d'Internet. Lors de l'analyse d'un espace d'adressage public (~ 3,7 milliards d'adresses IPv4, à l'exclusion des adresses réservées), vous pouvez extraire les informations utiles suivantes:

• Quels nœuds sont vulnérables à des vulnérabilités largement exploitées dans le cadre de campagnes malveillantes réelles et, de ce fait, sont des sources potentielles d'exposition malveillante.
• Quels nœuds sont les serveurs de contrôle des réseaux de botnet [1] , dont les accès peuvent être identifiés par un nœud compromis dans le périmètre protégé.
• Quels nœuds appartiennent à la partie non publique des réseaux anonymes distribués, qui peuvent être utilisés pour sortir discrètement et sans contrôle en dehors du périmètre protégé.
• Informations plus détaillées sur les nœuds «éclairés» dans le fonctionnement du système de surveillance.

Sélection d'outils

Au fil des années de développement des réseaux d'information, un grand nombre d'outils de numérisation réseau ont été créés. Parmi les logiciels actuels, on peut distinguer les scanners suivants:

• Nmap [2]
• Zmap [3]
• Masscan [4]

Examinez brièvement les principaux avantages et inconvénients de ces outils pour l'enrichissement des TI dans l'espace Internet.

Nmap

Peut-être le scanner de réseau le plus célèbre, créé il y a 20 ans. En raison de la possibilité d'utiliser des scripts personnalisés (via le moteur de script Nmap), il s'agit d'un outil extrêmement flexible, qui ne se limite pas à la simple collecte de «bannières» appliquées. À l'heure actuelle, un assez grand nombre de scripts NSE ont été écrits, dont beaucoup sont disponibles gratuitement. Étant donné que Nmap surveille chaque connexion, en d'autres termes, elle a un caractère synchrone, cela ne vaut pas la peine de l'utiliser pour de grands réseaux tels qu'Internet en raison de la faible vitesse du scanner. Dans le même temps, il est conseillé d'utiliser cet outil sur de petits échantillons d'adresses obtenus par des outils plus rapides, en raison de la puissance de NSE.

Zmap

Un scanner de réseau asynchrone assez connu, mais pas le premier du genre, apparu en 2013. Selon un rapport de développeurs publié lors de la 22e conférence USENIX Security Simposium [5] , l'outil est en mesure d'analyser l'intégralité de la plage d'adresses publiques, exécutée sur un ordinateur moyen avec une connexion Internet gigabit, en moins de 45 minutes (via un port). Les avantages de Zmap comprennent:

• Haute vitesse; en utilisant le cadre PF_RING et une connexion de 10 gigabits, le temps d'analyse théorique d'un espace d'adressage IPv4 public est de 5 minutes (un port).
• Prise en charge de l'analyse aléatoire des adresses réseau.
• Prise en charge du module pour les analyses TCP SYN, ICMP, les requêtes DNS, UPnP, BACNET [6] , le sondage UDP.
• Présence dans les référentiels des distributions GNU / Linux courantes (en outre, il existe un support pour Mac OS et BSD).
• En plus de Zmap, un certain nombre de projets utilitaires associés ont été développés pour étendre les fonctionnalités du scanner.

Si nous parlons des inconvénients de Zmap, nous pouvons noter ici la possibilité de scanner des adresses sur un seul port pour le moment.

Parmi les projets liés à Zmap, étendant ses fonctionnalités pour les tâches d'intérêt, on peut distinguer les suivants:

• ZGrab est un scanner de protocole d'application avec prise en charge des protocoles TTP, HTTPS, SSH, Telnet, FTP, SMTP, POP3, IMAP, Modbus, BACNET, Siemens S7 et Tridium Fox (grabber de bannière avec des fonctionnalités avancées).
• ZDNS est un utilitaire pour les requêtes DNS rapides.
• ZTag est un utilitaire de balisage des résultats d'analyse fourni par ZGrab.
• ZBrowse est un utilitaire de distribution sans tête basé sur Chrome pour suivre les modifications du contenu du site Web.

Masscan

Le scanner asynchrone, créé la même année que Zmap, est similaire en syntaxe de commande à Nmap.

Le créateur (Robert David Graham) a déclaré une productivité plus élevée que tous les scanners asynchrones qui existaient à l'époque, y compris Zmap, grâce à l'utilisation d'une pile TCP / IP personnalisée.

Avantages du scanner:

• Haute vitesse avec des performances théoriques allant jusqu'à 10 millions de paquets par seconde, ce qui vous permet de scanner tout l'espace public IPv4 en quelques minutes (sur un port) sur une connexion de 10 gigabits - la même chose que dans Zmap en utilisant le cadre PF_RING.
• Prise en charge des protocoles TCP, SCTP et UDP (via l'envoi de charges utiles UDP depuis Nmap).
• Prise en charge de l'analyse aléatoire des adresses réseau.
• Prise en charge de la sélection de la plage IP et de la plage de ports lors de la numérisation.
• Prise en charge de différents formats pour la sortie des résultats d'analyse (XML, grepable, JSON, binaire, sous forme de liste).

Dans le même temps, le scanner présente plusieurs inconvénients:

• Dans le cadre de l'utilisation d'une pile TCP / IP personnalisée, il est recommandé d'exécuter une analyse sur une IP dédiée pour éviter les conflits avec la pile du système d'exploitation.
• Par rapport à ZGrab, les possibilités de capture de bannière sont plutôt limitées.

Tableau de comparaison du scanner

Le tableau récapitulatif ci-dessous fournit une comparaison des fonctionnalités de ces scanners.

Sélection des cibles et de la méthode de scan

Après avoir choisi les outils à utiliser, vous devez décider de l'objet et du but de l'analyse, c'est-à-dire comprendre quoi et pourquoi analyser. Si le premier, en règle générale, aucune question ne se pose (il s'agit d'un espace d'adressage IPv4 public avec un certain nombre d'exceptions), alors avec le second, tout dépend du résultat final souhaité. Par exemple:

• Pour identifier les nœuds qui sont soumis à une vulnérabilité particulière, il est raisonnable de parcourir d'abord la plage analysée avec un outil rapide (Zmap, Masscan) pour identifier les nœuds avec des ports ouverts de services vulnérables; après avoir finalisé la liste des adresses, il vaut la peine d'utiliser Nmap avec le script NSE correspondant, s'il en existe un, ou de créer un script personnalisé basé sur les informations disponibles sur la vulnérabilité dans les publications des chercheurs en sécurité. Parfois, un simple grep suffit pour les bannières d'application collectées, car de nombreux services affichent des informations sur leur version.
• Pour identifier les nœuds de l'infrastructure cachée - à la fois les réseaux anonymes et les nœuds C2 (c'est-à-dire les serveurs de contrôle des réseaux de botnet) - il sera nécessaire de compiler des charges utiles / sondes personnalisées.
• Pour résoudre un large éventail de problèmes dans l'identification des nœuds compromis, des parties de l'infrastructure des réseaux anonymes et d'autres choses, la collecte et l'analyse des certificats peuvent donner beaucoup lors des prises de contact TLS.

Choix d'infrastructure

Le fait que les scanners rapides modernes puissent afficher des résultats impressionnants sur des ressources plutôt modestes du processeur moyen ne signifie pas que la charge sur l'infrastructure réseau sera insignifiante. En raison des spécificités du trafic généré lors de l'analyse, un taux suffisamment important de paquets par seconde est obtenu. Selon l'expérience, un cœur du processeur moyen (sur un processeur de production de ces dernières années, dans un environnement virtuel, sous n'importe quel système d'exploitation, sans aucun réglage de la pile TCP / IP) est capable de générer un flux de l'ordre de 100 à 150 000 paquets par seconde et par voie de ~ 50 Mb / s , ce qui représente une lourde charge pour les routeurs logiciels. L'équipement réseau matériel peut également rencontrer des problèmes pour atteindre la limite de performances ASIC. Dans le même temps, à une vitesse de numérisation de 100 à 150 Kpps (milliers de paquets par seconde), le contournement de la plage IPv4 publique peut prendre plus de 10 heures, c'est-à-dire un temps assez important. Pour une analyse très rapide, vous devez utiliser un réseau distribué de nœuds d'analyse qui divise le pool analysé en parties. Un ordre de balayage aléatoire est également nécessaire pour que l'utilisation des canaux Internet et le chargement par lots des équipements des fournisseurs au «dernier kilomètre» ne soient pas significatifs.

Difficultés et moments «subtils»

En pratique, lors de la réalisation d'analyses de réseau de masse, on peut rencontrer un certain nombre de difficultés, à la fois de nature technologique et organisationnelle.

Problèmes de performances et de disponibilité

Comme mentionné précédemment, l'analyse de réseau de masse crée un flux de trafic avec une valeur PPS élevée, provoquant une charge importante à la fois sur l'infrastructure locale et sur le réseau fournisseur auquel les nœuds d'analyse sont connectés. Avant d'effectuer des analyses à des fins de recherche, il est impératif de coordonner toutes les actions avec les administrateurs locaux et les représentants du fournisseur. D'un autre côté, des problèmes de performances peuvent survenir sur les nœuds d'analyse finaux lors de la location de serveurs virtuels sur des services d'hébergement Internet.


De plus, lors de l'identification des nœuds vulnérables, il convient de considérer que certains contrôles NSE peuvent entraîner un déni de service sur les nœuds analysés. Une telle évolution de la situation n'est pas simplement non éthique, mais elle se situe définitivement en dehors du champ juridique et entraîne le déclenchement de conséquences sous la forme d'une responsabilité pénale.

Que recherchons-nous et comment?

Pour trouver quelque chose, vous devez savoir comment chercher quelque chose. Les menaces évoluent constamment et une nouvelle étude analytique est constamment nécessaire pour les identifier. Parfois, les analyses publiées dans les documents de recherche deviennent obsolètes, les incitant à mener leurs propres recherches.

Plaintes d'abus

Lors de l'analyse d'Internet, il y a presque 100% de risques de recevoir un flux de plaintes pour abus. L'abus généré automatiquement pour une douzaine de paquets SYN est particulièrement ennuyeux. Et si les analyses sont répétées régulièrement, des réclamations créées manuellement peuvent également circuler.


Ne prenez pas cet abus à la légère, car:

• En cas de réclamation, l'hébergeur bloque le plus souvent le trafic vers ou depuis les machines virtuelles louées ou suspend même leur fonctionnement.
• Un FAI peut désactiver la liaison montante afin d'éliminer les risques de blocage du système autonome.

La meilleure pratique pour minimiser les plaintes est de:

1. Connaissance des conditions d'utilisation de votre fournisseur d'accès Internet / d'hébergement.
2. Créer une page d'informations sur les adresses des sources de scan expliquant le but du scan; apporter les clarifications appropriées dans les enregistrements DNS TXT.
3. Clarification des scans lors de la réception de plaintes d'abus.
4. Tenir à jour une liste d'exclusions de l'analyse, ajouter à l'exclusion des sous-réseaux qui s'appliquent à la première demande, fournir des clarifications sur la procédure pour faire des exclusions sur la page d'informations.
5. La numérisation n'est plus et pas plus souvent que nécessaire pour résoudre la tâche.
6. Répartition du trafic de numérisation par source, adresses de destination, ainsi que l'heure à laquelle cela est possible.

Externalisation de l'analyse réseau

La réalisation d'analyses de masse indépendantes nécessite une approche équilibrée (les risques sont décrits ci-dessus), tout en sachant que si le traitement analytique des résultats d'analyse utilisé n'est pas suffisamment approfondi, le résultat final peut être insatisfaisant. Au moins en termes techniques, vous pouvez faciliter la tâche en utilisant des outils commerciaux existants, tels que:

• Shodan [8]
• Censys [9]
• ZoomEye [10]

Shodan

Le premier et le plus célèbre moteur de recherche de services publiés sur Internet, créé à l'origine comme moteur de recherche IoT et lancé en 2009 par John Materley [11] . Actuellement, le moteur de recherche offre plusieurs niveaux d'accès aux informations en lui-même. Sans inscription, les possibilités sont très basiques, lors de l'inscription et de l'achat d'un abonnement, les fonctionnalités suivantes deviennent disponibles:

• Recherche par filtres de base.
• Publication d'informations détaillées sur les nœuds («données brutes»).
• Une API "basique" avec la possibilité de s'intégrer avec des utilitaires courants tels que Maltego, Metasploit, Nmap et autres.
• La possibilité d'exporter les résultats de la recherche (moyennant des frais, pour les "Crédits" - la devise interne du service).
• La possibilité de numériser sur demande des adresses individuelles et des plages (moyennant des frais, pour les «crédits»).

Les fonctionnalités mentionnées sont déjà suffisantes pour l'OSINT de base [12] , cependant, le moteur de recherche révèle pleinement ses capacités avec un abonnement Entreprise, à savoir:

• Analyse à la demande de l'ensemble de la plage IPv4 publique d'Internet, y compris la vérification de la plage de ports spécifiée et la spécification de collecteurs de bannières spécifiques au protocole.
• Notifications en temps réel basées sur les résultats des analyses en cours.
• La possibilité de télécharger des résultats d'analyse bruts pour une analyse plus approfondie (aucune restriction, la base de données entière est disponible).
• La possibilité de développer des collecteurs personnalisés pour des tâches spécifiques (protocoles non standard, etc.).
• Accès aux résultats de l'analyse historique (jusqu'en octobre 2015).

Le projet Shodan a créé un certain nombre de projets connexes, tels que la recherche de logiciels malveillants, l'analyse des pots de miel, les exploits, l'enrichissement des résultats de l'analyse.

Censys

Moteur de recherche sur l'IoT et pas seulement, créé par l'auteur de Zmap Zakir Durumerik et présenté publiquement en 2015. Le moteur de recherche utilise la technologie Zmap et un certain nombre de projets connexes (ZGrab et ZTag). Sans inscription, contrairement à Shodan, le moteur de recherche est limité à 5 requêtes par jour à partir d'une IP. Après l'enregistrement, les possibilités d'utilisation sont élargies: une API apparaît, les résultats de recherche de demandes sont augmentés (jusqu'à 1000 résultats), cependant, l'accès le plus complet, y compris le téléchargement de données historiques, n'est disponible que sur le plan Entreprise.

Les avantages du moteur de recherche par rapport à Shodan incluent les fonctionnalités suivantes:

• Il n'y a aucune restriction sur les filtres de recherche sur les plans tarifaires de base.
• Grande vitesse de mise à jour des résultats de la numérisation automatique (quotidiennement, selon les auteurs; la vitesse de Shodan est beaucoup plus faible).

Les inconvénients comprennent:

• Moins de ports scannés par rapport à Shodan.
• Impossibilité de numériser «à la demande» (à la fois par plages IP et par ports).
• Moins d'enrichissement des résultats avec des outils prêts à l'emploi (ce qui est évident étant donné le plus grand nombre d'outils Shodan mis en œuvre dans le cadre de projets connexes).

Si les résultats collectés sur la gamme de ports prise en charge par Censys sont suffisants pour atteindre cet objectif, le manque de capacité à analyser à la demande ne devrait pas être un obstacle sérieux en raison de la vitesse élevée de mise à jour des résultats d'analyse.

Zoomeye

Un moteur de recherche IoT créé par la société chinoise de sécurité de l'information Knowsec Inc en 2013. Aujourd'hui, le moteur de recherche utilise ses propres développements - Xmap (scanner hôte) et Wmap (scanner web). Le moteur de recherche recueille des informations sur une gamme assez large de ports, lors de la recherche, il est possible de classer selon un grand nombre de critères (ports, services, OS, applications) avec des détails pour chaque hôte (le contenu des bannières d'application). Les résultats de la recherche répertorient les vulnérabilités possibles pour le logiciel d'application identifié du projet SeeBug associé (sans vérifier l'applicabilité). Pour les comptes enregistrés, une API et une recherche Web sont également disponibles avec un ensemble complet de filtres, mais avec une limitation du nombre de résultats affichés. Pour supprimer les restrictions, il est proposé d'acheter un plan d'entreprise. Parmi les avantages d'un moteur de recherche, on peut noter:

• Un grand nombre de ports scannés (approximativement similaires à Shodan).
• Prise en charge Web étendue.
• Identifiant de l'application et du système d'exploitation.

Parmi les inconvénients:

• Intervalle de mise à jour lent pour les résultats de l'analyse.
• Impossibilité de numériser à la demande.
• L'enrichissement des résultats de l'analyse se limite à l'identification des services, des logiciels d'application, du système d'exploitation et des vulnérabilités potentielles.

Tableau de comparaison des services

Le tableau récapitulatif ci-dessous fournit une comparaison des fonctionnalités des services considérés.

Scannez-vous

Votre propre infrastructure peut également être une source utile de TI, vous pouvez donc comprendre quels nouveaux hôtes et services sont apparus sur le réseau, sont-ils vulnérables ou même malveillants? Si des services externes peuvent être utilisés pour analyser le périmètre (par exemple, un tel cas d'utilisation est officiellement pris en charge par le cas d'utilisateur Shodan), alors toutes les actions à l'intérieur du périmètre ne peuvent être effectuées que de manière indépendante. Dans ce cas, la gamme d'outils pour l'analyse de réseau peut être assez étendue: il s'agit à la fois d'analyseurs passifs, tels que Bro [13] , Argus [14] , Nfdump [15] , p0f [16] et des scanners actifs - Nmap, Zmap, Masscan et leurs concurrents commerciaux. Le cadre IVRE [17] , qui vous permet d'obtenir votre propre outil de type Shodan / Censys, peut aider à interpréter les résultats.



Le cadre a été développé par un groupe de chercheurs en sécurité de l'information, l'un des auteurs est un développeur actif de l'utilitaire scapy [18] Pierre Lalet [19] . Parmi les caractéristiques du cadre, citons:

• L'utilisation de l'analyse visuelle pour identifier les modèles et les anomalies anormales.
• Moteur de recherche avancé avec analyse détaillée des résultats de l'analyse.
• Intégration avec des utilitaires tiers via l'API avec prise en charge Python.

IVRE est également bien adapté pour analyser de grandes analyses d'Internet.

Conclusions

La numérisation et l'intelligence active des réseaux sont d'excellents outils qui ont longtemps été utilisés par divers chercheurs dans le domaine de la sécurité de l'information. Cependant, pour les agents de sécurité "classiques", ces méthodes de travail sont encore nouvelles. L'utilisation d'OSINT et de méthodes offensives en combinaison avec les moyens défensifs classiques renforcera considérablement la protection et assurera sa proactivité.


Mikhail Larin, expert au Center for Monitoring and Response to Information Security Incidents Jet CSIRT, Jet Infosystems.