Une année sans Splunk - comment une entreprise américaine a changé le marché de l'analyse des données machine en Russie et qu'elle a laissé derrière

Il y a presque un an, Splunk est décédé en Russie. Cet article est largement révisé. Il s'agit des données machine, du créneau du marché et de l'exemple de substitution des importations qui s'est produit sans slogans de haut niveau - simplement parce que le marché l'exigeait. Exclusivement - la version de l'auteur sur la raison pour laquelle Splunk a quitté la Russie, mais il est possible que tout soit complètement faux.

Qu'est-ce que les données machine?

Bien que beaucoup d'entre nous entendent beaucoup plus souvent le terme «Big Data», nous parlerons des données machine, c'est-à-dire données générées numériquement à partir d'une grande variété de sources. Et il ne s'agit pas de rétrécir le domaine, mais précisément de l'exactitude de la définition.

Les données machine sont toutes les données générées par les appareils numériques. Ceux-ci incluent les journaux des serveurs d'entreprise et des périphériques réseau, les données des capteurs des systèmes industriels et des appareils IoT, les messages vers les e-mails d'entreprise, l'activité sur un serveur Web, les enregistrements des employés entrant et sortant de leurs comptes, les transactions financières numériques, les appels au soutien de l'entreprise et bien plus encore.

Il est important que parmi les messages purement techniques contenus dans les données machine, une énorme quantité d'informations contienne des informations qui reflètent les processus commerciaux de l'organisation - l'interaction de l'entreprise avec ses contreparties et intermédiaires (banques, compagnies d'assurance et de services, autorités de régulation). Statistiques de l'activité des employés dans le réseau d'entreprise et lors des déplacements physiques dans l'entreprise, des mouvements de marchandises dans l'entrepôt, de la demande et de la durée du service, etc. - tout cela est aussi des données machine.

Puis l'idée surgit: analyser les données des machines afin d'identifier les goulots d'étranglement des systèmes informatiques et des entreprises, optimiser la qualité du service client, trouver des vulnérabilités dans la sécurité des informations de l'entreprise et des traces de fraudeurs.

La complexité de l'utilisation des données machine réside dans le fait qu'elles sont présentées dans un nombre incroyable de formats.

L'idée est vraie, mais difficile à mettre en œuvre. La complexité de l'utilisation des données machine réside dans le fait qu'elles sont présentées dans un nombre incroyable de formats, et les outils traditionnels de surveillance et d'analyse ne sont pas conçus pour une telle variété, vitesse de réception, volume ou variabilité de ces données.

A commencé avec les systèmes SIEM et la Business Intelligence, et a fini avec les solutions Splunk.

Il y a 10 ans, lorsque l'étude de l'applicabilité des données machine a commencé, des solutions logicielles pour leur traitement et leur analyse ont commencé à apparaître sur le marché. Afin de créer les meilleurs outils de leur catégorie, les développeurs ont commencé à restreindre le domaine de l'analyse des données machine.

C'est ainsi que le système SIEM (Security Information and Event Management) est apparu et a atteint un niveau élevé de maturité. Ce sont des produits logiciels dans le domaine de la sécurité de l'information (SI). Ils surveillent les systèmes d'information en temps réel, collectent et analysent les données des machines liées à la sécurité des informations. La portée des systèmes SIEM comprend les serveurs, les périphériques réseau, les capteurs, les appareils de bureau et mobiles, les outils de sécurité des informations, l'infrastructure système et les applications.

Une autre branche de l'analyse des données machine est devenue les systèmes de surveillance de l'infrastructure informatique. Troisièmement - les systèmes de Business Intelligence (BI, Business Intelligence), analysant les processus commerciaux sur la base d'un ensemble de données liées à l'activité commerciale de l'entreprise.

Ce qui est bien - un succès significatif a été obtenu dans chacune des branches énumérées de l'analyse des données machine, et des solutions et des produits décents ont été introduits sur le marché. Ce qui n'est pas si grand - l'intégration de systèmes hétérogènes pour surveiller l'infrastructure informatique, enregistrer et prévenir les incidents de sécurité de l'information et analyser les processus commerciaux s'est avérée être une question assez compliquée, rappelant parfois «croiser un hérisson et un serpent».

Lorsque ce problème a été reconnu par le marché, divers fournisseurs ont dirigé les efforts de leurs développeurs pour créer un système universel d'analyse des données machine. Autrement dit, un système qui serait à lui seul capable de répondre à la fois à la question du DSI - «Pourquoi ai-je une telle charge inégale de serveurs», et à la question du PDG - «Lequel des processus commerciaux de l'entreprise nous mène au profit et qui mène à la faillite».

D'une manière générale, le marché convient que la solution universelle la plus performante pour l'analyse des données machine a été proposée par la société américaine Splunk.

Il se trouve que la solution universelle d'analyse de données machine la plus réussie a été proposée par la société américaine Splunk. Alors que Splunk a des concurrents tels que IBM, BMC Software, Microsoft, Quest Software, ainsi que des options pour implémenter des analyses sur la pile ELK open source. Mais ce sont les solutions Splunk qui sont devenues les leaders du marché. Splunk Enterprise - Le produit avec les fonctionnalités les plus étendues est devenu la norme industrielle de facto pour les systèmes d'analyse de données machine intégrés pour les grandes entreprises.

Le marché a accepté les produits Splunk, tout d'abord, pour une excellente combinaison de facilité d'installation, de flexibilité de configuration et d'une variété d'outils analytiques. Splunk a son propre écosystème appelé Splunkbase . Ici, les développeurs et les clients de la communauté Splunk publient divers modules complémentaires, modules technologiques et applications qui résolvent différentes tâches. Par exemple, vous pouvez y télécharger des applications, dont l'une recueille les journaux des périphériques Cisco et la seconde des périphériques réseau d'un autre fabricant, etc. Cette interaction est bénéfique pour les développeurs et les clients.


Vue générale de l'écran Splunkbase. Source: Splunk


Les gros plans sont des exemples de modules complémentaires et d'applications dans Splunkbase. Le nombre de téléchargements est indiqué comme une mesure de popularité. Source: Splunk

Si vous plongez un peu dans l'écosystème Splunkbase, vous pouvez expliquer les différences - l'application diffère du module complémentaire en ce qu'elle a une interface graphique. Ce sont des panneaux visuels, des tableaux de bord (cadrans), des formulaires, des diagrammes qui vous permettent de voir des analyses sur une question adressée au système dans l'interface graphique. L'utilisateur peut construire une recherche et des analyses sur une variété de paramètres, plongeant autant que possible dans la tranche de temps des événements pour identifier les causes de ce qui s'est passé.

L'histoire de Splunk en Russie est brillante, mais de courte durée

Un produit aussi riche en fonctionnalités que Splunk n'a pas pu attirer l'attention des DSI des grandes entreprises russes. En effet, plus l'entreprise est grande, plus il est difficile de gérer et d'identifier les facteurs affectant les performances de l'entreprise, la stabilité de l'infrastructure informatique et les outils de sécurité de l'information.


Présentation générale de la solution Splunk Enterprise ( https://www.volgablob.ru/en/solutions/splunk ). Source: VolgaBlob

Splunk est arrivé en Russie à la fin de 2013 et a commencé à construire un réseau d'affiliation selon le schéma classique - un distributeur de licences (RRC) et des partenaires de mise en œuvre (VolgaBlob, TS Solution, Talmer). Étant donné que le coût de la licence Splunk est assez élevé et que le fournisseur s'est concentré sur les clients des grandes entreprises (et ils comptent tous), le nombre de partenaires était faible.

VolgaBlob a été l'un des premiers partenaires à commencer à travailler avec les solutions Splunk. Les 10 dernières années d'expérience dans le développement, la personnalisation et la mise en œuvre d'outils de sécurité de l'information ont été utiles.

«Nous étions un acteur mature sur le marché de la cybersécurité, mais Splunk a été une véritable découverte (!) Pour nous et une nouvelle perspective passionnante. Nous avons commencé à développer notre expertise dans le domaine de l'analyse des processus d'affaires, y compris à l'interface avec la sécurité de l'information, à construire des ensembles de nos connecteurs et applications techniques dans l'écosystème Splunk et à tout offrir dans le cadre de cas d'utilisateurs finis spécifiques pour les entreprises au niveau fédéral '', a expliqué Alexander. Skakunov , PDG de VolgaBlob.

En 2018, où le plus grand nombre de projets basés sur Splunk Enterprise en Russie ont été achevés, le nombre de clients utilisant Splunk comprenait des marques telles que Rosneft et SUEK, Sberbank et Tinkoff Bank, MTS, Moscow Exchange et Megafon. Le point culminant des événements - Le 0 octobre 2018, la conférence Splunk Discovery Day Moscou 2018 a été impressionnante en termes de nombre de participants et de niveau de reportages. Un hall complet et un CIO de nombreuses entreprises. Lequel des participants aurait alors pu suggérer qu'en seulement 3 mois, le marché aura des ambiances complètement différentes.


Photo de la conférence Splunk Discovery Day Moscou 2018. Source: avleonov.com

Le 19 février 2019, Splunk a annoncé une sortie d'urgence du marché russe de manière inattendue pour notre communauté informatique. Les partenaires et clients restés à perte n'ont pu lire que le communiqué de presse indistinct sur le site Internet du vendeur . Dans ce document, le retrait de la Russie était vaguement expliqué par des «raisons d'investissement». Toutes les tentatives des partenaires pour obtenir des explications plus intelligibles ont été vaines.

Des sensations désagréables ont été ressenties non seulement par les partenaires Splunk, mais aussi par les clients qui ont soudainement été privés d'accès à leurs comptes. Après quelques jours, les passions se sont un peu calmées ( voir les détails sur Habré ), Splunk a déclaré que les clients disposant de licences valides peuvent utiliser leurs comptes jusqu'à l'expiration des licences et que les partenaires peuvent continuer à les servir à leurs propres risques, mais sans l'aide de vendeur.

La version de l'auteur sur Splunk quittant la Russie, mais il est possible que tout n'ait pas fonctionné

Dans cette section, nous aurons un anti-héros, il y en a même deux, et Splunk sont tous deux Doug Merritt (PDG) et Carrie Palin (CMO, directrice du marketing).

Les entreprises publiques américaines ont une merveilleuse section du site où elles sont obligées de divulguer aux investisseurs la situation concernant leurs affaires. Ici, vous pouvez découvrir ce qui suit: 19/02/2019, lorsque Splunk (SPLK, NASDAQ) a publié un communiqué sur le départ de la Russie, c'était le premier jour de travail de Carrie Palin, CMO - elle n'a été embauchée. Mais la décision de quitter la Russie a probablement été prise un peu plus tôt. Très probablement, il y a eu des consultations avec elle, des négociations avant le premier jour ouvrable officiel et la réduction des coûts pour quitter la Russie était sa proposition de «nouvelles idées marketing», comme il est de coutume lors des entretiens avec les cadres supérieurs.

Le PDG, Doug Merritt, il est possible que l'idée ait été approuvée, et le directeur financier de l'époque Splunk, qui finalisait sa cadence à ce moment-là et quittait l'entreprise, ne s'y était apparemment pas opposé (en mai 2019, ils ont embauché un nouveau directeur financier).

Quiconque investit sur le marché américain - la première chose à faire est de le regarder - comment les actions Splunk ont-elles réagi à la sortie du marché russe? La réponse est non, neutre (voir graphique). La baisse ultérieure des actions à partir du 1er mars 2019 est associée à Cisco - un initié a été lancé qu'ils les auraient prétendument vendus, puis ne les ont pas vendus (et ne les ont pas vendus jusqu'à présent).


Graphique boursier quotidien SPLK pour le printemps 2019. Source: Tradingview

Le graphique montre que la raison officiellement déclarée de quitter la Russie à propos de «l'optimisation pour les investisseurs» n'était pas une excuse à 100%, mais au moins partiellement vraie. Vous pouvez comprendre leur logique - la courbe de croissance des actions à l'époque était impressionnante (et le marché russe n'a aucun mérite à cela - la Fed a gonflé le marché boursier américain avec des liquidités). Dans le même temps, à l'échelle Splunk, les affaires en Fédération de Russie n'étaient visibles qu'au microscope (malgré tous les efforts des partenaires de la Fédération de Russie), et il y avait beaucoup d'agitation et à tout moment, vous pouviez être soumis à la répartition des sanctions (ce qui était un risque réel au début de 2019).

Exemple de produit de remplacement après soins Splunk

Bien que Splunk n'ait pas de concurrent direct sous forme de solution commerciale sur notre marché, les développeurs russes ont tenté de créer un analogue qui leur convient sur la base de projets open source ELK. Cela a été fait principalement dans des entreprises de taille moyenne qui n'avaient pas les moyens d'acheter Splunk. Mais la pratique n'était pas répandue, car les produits auto-écrits sont détenus par l'enthousiasme de certains employés et sont abandonnés après leur départ.

Il existe une version commerciale pour ELK, mais dans la Fédération de Russie, elle est peu demandée et à bien des égards est en concurrence avec les logiciels libres.

ELK est l'abréviation de trois projets open source Elasticsearch, Logstash et Kibana. Ici, Elasticsearch est la recherche et l'analyse, Logstash est le traitement des données machine de plusieurs sources en même temps, et Kibana est un projet pour créer des outils de visualisation des résultats à partir d'Elasticsearch et Logstash. Bien qu'au départ ELK ne visait pas à analyser les données de la machine, il a rapidement commencé à être utilisé pour traiter les journaux avec un horodatage.

L'auteur ne s'engage pas à parler du sort de toutes les entreprises informatiques en Russie liées à la mise en œuvre de Splunk, mais il y a une histoire révélatrice - comment les événements de 2019 ont transformé les affaires de VolgaBlob, un partenaire de Splunk, en affaires.

Volgablob, ainsi que d'autres anciens partenaires de Splunk, avaient deux niches de marché après le départ du vendeur. Le premier est de continuer à servir les clients avec des licences existantes sur la plate-forme Splunk (et parmi eux il y a des entreprises avec des licences perpétuelles), le second est de donner aux clients qui souhaitent migrer vers une autre plate-forme une alternative basée sur un produit open source.

Comme vous le savez, toute crise n'est pas seulement une perte, mais aussi de nouvelles opportunités. VolgaBlob s'est avéré être dans une situation très difficile, car l'introduction et la personnalisation des cas d'utilisateurs Splunk ont ​​été leur source importante de commandes et, bien sûr, de revenus. Au lieu de fermer l'entreprise ou d'aller dans d'autres niches, ils ont regroupé l'équipe, embauché de nouveaux développeurs et commencé à faire glisser le développement de leurs applications de la plate-forme Splunk vers l'ELK.

«Au fil des années de présence de Splunk sur le marché russe, nous avons créé notre propre suite d'applications propriétaires pour Splunk, que nous avons appelée Smart Monitor. On recueille les «fonctionnalités» les plus demandées par les clients russes. Lorsque le vendeur est soudainement parti, la sagacité et le désir de se diversifier dans le choix d'une plate-forme pour travailler avec des données machine, qui ont été montrés à un moment donné, nous ont aidés », explique Alexander Skakunov.

Comme s'il répondait au commentaire d'Habr sur le départ à la retraite du vendeur "... Peut-être qu'il y a des artisans qui feront une alternative", VolgaBlob a réussi à mettre en œuvre en peu de temps un ensemble d'outils d'analyse Smart Monitor, précédemment développé pour Splunk, mais maintenant sur la plateforme ELK. La nouvelle solution s'appelle Smart Monitor Open Source . Il n'y a pas d'écosystème d'applications d'autres développeurs indépendants. Mais il existe de nombreux modules de collecte de données et d'analyse sélectionnés par les cas actuels parmi les clients existants, c'est-à-dire demandée sur le marché russe.

Pour la première fois, Smart Monitor Open Source a été présenté lors de la conférence VB-Trend 2019: Plan> B , qui s'est tenue le 13 novembre 2019 à Moscou. Au nom - le désir d'offrir un produit de remplacement et de révéler des cartes sur un sujet qui inquiète des centaines d'entreprises en Russie qui utilisaient auparavant Splunk.

L'auteur ne considère pas correct de copier ici les documents de la conférence. Les spécialistes travaillant dans le domaine de l'analyse des données machine en apprendront davantage sur le produit Splunk de remplacement dans les pages de VB-Trend 2019. Et tout le monde, y compris l'auteur, nous pouvons simplement être heureux pour les développeurs russes.