Ein Jahr ohne Splunk - wie ein amerikanisches Unternehmen den Markt für Maschinendatenanalyse in Russland veränderte und wen es zurückließ

Vor fast einem Jahr starb Splunk in Russland. Dieser Artikel ist weitgehend überarbeitet. Es geht um die Maschinendaten, die Marktnische und das Beispiel der Importsubstitution, die ohne hochkarätige Slogans stattfanden - einfach weil der Markt es verlangte. Exklusiv - die Version des Autors über den Grund, warum Splunk Russland verlassen hat, aber es ist möglich, dass alles völlig falsch war.

Was sind Maschinendaten?

Obwohl viele von uns den Begriff "Big Data" viel öfter hören, werden wir über Maschinendaten sprechen, d.h. digital erzeugte Daten aus einer Vielzahl von Quellen. Dabei geht es nicht darum, den Bereich einzugrenzen, sondern genau um die Richtigkeit der Definition.

Maschinendaten sind alle von digitalen Geräten erzeugten Daten. Dazu gehören Protokolle von Unternehmensservern und Netzwerkgeräten, Daten von Sensoren industrieller Systeme und IoT-Geräte, Nachrichten an Unternehmens-E-Mails, Aktivitäten auf einem Webserver, Aufzeichnungen von Mitarbeitern, die ihre Konten betreten und verlassen, digitale Finanztransaktionen und Anrufe zur Firmenunterstützung und vielem mehr.

Es ist wichtig, dass Maschinendaten neben rein technischen Meldungen eine große Menge an Informationen enthalten, die die Geschäftsprozesse des Unternehmens widerspiegeln - das Zusammenspiel des Unternehmens mit seinen Gegenparteien und Vermittlern (Banken, Versicherungs- und Dienstleistungsunternehmen, Aufsichtsbehörden). Statistiken über die Aktivität von Mitarbeitern im Unternehmensnetzwerk und während der physischen Bewegung im Unternehmen, die Bewegung von Waren im Lager, die Nachfrage und Dauer der Dienstleistung usw. - Das alles sind auch Maschinendaten.

Dann entsteht die Idee: Maschinendaten zu analysieren, um die Engpässe von IT-Systemen und Unternehmen zu identifizieren, die Qualität des Kundenservice zu optimieren, Schwachstellen in der Informationssicherheit des Unternehmens und Spuren von Betrügern zu finden.

Die Komplexität der Verwendung von Maschinendaten liegt in der Tatsache, dass sie in einer unglaublichen Anzahl von Formaten dargestellt werden.

Die Idee ist richtig, aber schwer umzusetzen. Die Komplexität der Verwendung von Maschinendaten liegt in der Tatsache, dass sie in einer unglaublichen Anzahl von Formaten dargestellt werden und herkömmliche Überwachungs- und Analysetools nicht für eine solche Vielfalt, Empfangsgeschwindigkeit, Menge oder Variabilität dieser Daten ausgelegt sind.

Angefangen mit SIEM-Systemen und Business Intelligence bis hin zu Splunk-Lösungen.

Als vor 10 Jahren mit der Untersuchung der Anwendbarkeit von Maschinendaten begonnen wurde, kamen Softwarelösungen für deren Verarbeitung und Analyse auf den Markt. Um die besten Werkzeuge in ihrer Klasse zu entwickeln, begannen die Entwickler, den Themenbereich der Maschinendatenanalyse einzugrenzen.

So entstand ein hochreifes SIEM-System (Security Information and Event Management). Hierbei handelt es sich um Softwareprodukte im Bereich Informationssicherheit (IS). Sie überwachen Informationssysteme in Echtzeit, erfassen und analysieren Maschinendaten zur Informationssicherheit. Der Umfang der SIEM-Systeme umfasst Server, Netzwerkgeräte, Sensoren, Desktop- und Mobilgeräte, Informationssicherheitstools, System- und Anwendungsinfrastruktur.

Ein weiterer Bereich der Maschinendatenanalyse sind IT-Infrastrukturüberwachungssysteme. Drittens - Business Intelligence-Systeme (BI, Business Intelligence), die Geschäftsprozesse auf der Grundlage einer Reihe von Daten analysieren, die sich auf die Geschäftstätigkeit des Unternehmens beziehen.

Was gut ist - in jedem der aufgelisteten Bereiche der Maschinendatenanalyse wurden beachtliche Erfolge erzielt und angemessene Lösungen und Produkte auf den Markt gebracht. Was nicht so toll ist - die Integration heterogener Systeme zur Überwachung der IT-Infrastruktur, zur Erfassung und Verhinderung von Sicherheitsvorfällen und zur Analyse von Geschäftsprozessen hat sich als ziemlich kompliziert erwiesen und erinnert manchmal an das „Überqueren eines Igels und einer Schlange“.

Als der Markt dieses Problem erkannte, leiteten verschiedene Anbieter die Bemühungen ihrer Entwickler, ein universelles System zur Analyse von Maschinendaten zu entwickeln. Das heißt, ein System, das allein in der Lage wäre, sowohl die CIO-Frage zu beantworten: "Warum habe ich eine so ungleichmäßige Serverauslastung?" Als auch die Frage des CEO: "Welche Geschäftsprozesse des Unternehmens führen zu Gewinnen und welche führen zum Konkurs?"

Im Allgemeinen ist sich der Markt einig, dass die amerikanische Firma Splunk die erfolgreichste universelle Lösung für die Analyse von Maschinendaten vorgeschlagen hat.

Zufällig schlug die amerikanische Firma Splunk die erfolgreichste universelle Lösung zur Analyse von Maschinendaten vor. Während Splunk Konkurrenten wie IBM, BMC Software, Microsoft, Quest Software sowie Optionen zur Implementierung von Analysen auf dem Open-Source-ELK-Stack hat. Aber es waren die Lösungen von Splunk, die Marktführer wurden. Splunk Enterprise - Das Produkt mit der breitesten Funktionalität ist zum Industriestandard für integrierte Maschinendaten-Analysesysteme für große Unternehmen geworden.

Der Markt akzeptierte Splunk-Produkte in erster Linie für eine hervorragende Kombination aus einfacher Installation, flexibler Konfiguration und einer Vielzahl von Analysetools. Splunk hat ein eigenes Ökosystem namens Splunkbase . Hier veröffentlichen Entwickler und Kunden aus der Splunk-Community verschiedene Add-Ons, Technologie-Add-Ons und Anwendungen, die unterschiedliche Aufgaben lösen. Sie können dort beispielsweise Anwendungen herunterladen, von denen eine Protokolle von Cisco-Geräten und die zweite von Netzwerkgeräten eines anderen Herstellers usw. sammelt. Diese Interaktion ist sowohl für Entwickler als auch für Kunden von Vorteil.


Allgemeine Ansicht des Splunkbase-Bildschirms. Quelle: Splunk


Nahaufnahmen sind Beispiele für Add-Ons und Anwendungen in Splunkbase. Die Anzahl der Downloads wird als Maß für die Beliebtheit angegeben. Quelle: Splunk

Wenn Sie sich ein wenig mit dem Splunkbase-Ökosystem befassen, können Sie die Unterschiede verdeutlichen - die Anwendung unterscheidet sich vom Add-On darin, dass die Anwendung eine grafische Oberfläche hat. Hierbei handelt es sich um visuelle Bedienfelder, Dashboards (Wählscheiben), Formulare und Diagramme, mit denen Sie Analysen zu einer Frage anzeigen können, die auf der grafischen Oberfläche an das System gerichtet ist. Der Benutzer kann anhand einer Vielzahl von Parametern eine Suche und Analyse durchführen und dabei so viel Zeit wie möglich in das Zeitfenster der Ereignisse eintauchen, um die Ursachen für das Geschehen zu ermitteln.

Die Geschichte von Splunk in Russland ist hell, aber kurzlebig

Ein so funktionsreiches Produkt wie Splunk konnte die Aufmerksamkeit des CIO großer russischer Unternehmen nicht auf sich ziehen. Je größer das Unternehmen ist, desto schwieriger ist es, Faktoren zu verwalten und zu identifizieren, die sich auf die Geschäftsleistung, die Stabilität der IT-Infrastruktur und die Tools für die Informationssicherheit auswirken.


Übersichtsdarstellung der Splunk Enterprise-Lösung ( https://www.volgablob.ru/en/solutions/splunk ). Quelle: VolgaBlob

Splunk kam zum Jahreswechsel 2013 nach Russland und begann mit dem Aufbau eines Affiliate-Netzwerks nach dem klassischen Schema - einem Lizenzvertreiber (RRC) und Implementierungspartnern (VolgaBlob, TS Solution, Talmer). In Anbetracht der hohen Lizenzkosten von Splunk und der Konzentration des Anbieters auf Kunden aus großen Unternehmen (und alle zählen) war die Anzahl der Partner gering.

VolgaBlob war einer der ersten Partner, der mit Splunk-Lösungen begann. Die bisherigen 10 Jahre Erfahrung in der Entwicklung, Anpassung und Implementierung von Informationssicherheitstools haben sich als nützlich erwiesen.

„Wir waren ein reifer Akteur auf dem Cybersicherheitsmarkt, aber Splunk war eine echte Entdeckung (!) Für uns und eine neue aufregende Perspektive. Wir haben begonnen, unser Know-how auf dem Gebiet der Analyse von Geschäftsprozessen zu erweitern, einschließlich an der Schnittstelle zu IS, Zusammenstellungen unserer technischen Konnektoren und Anwendungen im Splunk-Ökosystem zu erstellen und alles innerhalb spezifischer Anwendungsfälle für Unternehmen auf Bundesebene anzubieten “, teilt Alexander seine Eindrücke . Skakunov , CEO von VolgaBlob.

Bis zum Jahr 2018, in dem die meisten auf Splunk Enterprise basierenden Projekte in Russland abgeschlossen wurden, umfasste die Anzahl der Kunden, die Splunk verwendeten, Marken wie Rosneft und SUEK, Sberbank und Tinkoff Bank, MTS, Moscow Exchange und Megafon. Höhepunkt der Ereignisse - Am 0. Oktober 2018 war die Konferenz zum Splunk Discovery Day in Moskau 2018 in Bezug auf Teilnehmerzahl und Berichtsniveau beeindruckend: Ein voller Saal und CIO von vielen Unternehmen. Welcher der Teilnehmer hätte dann vorschlagen können, dass der Markt in nur 3 Monaten ganz andere Stimmungen haben wird.


Foto von der Konferenz zum Splunk Discovery Day in Moskau 2018. Quelle: avleonov.com

Am 19. Februar 2019 kündigte Splunk für unsere IT-Community einen unerwarteten Notausgang aus dem russischen Markt an. Die verbliebenen Partner und Kunden konnten nur die undeutliche Pressemitteilung auf der Website des Anbieters lesen. Darin wurde der Rückzug aus Russland vage mit "Investitionsgründen" erklärt. Alle Versuche der Partner, verständlichere Erklärungen zu erhalten, blieben erfolglos.

Unangenehme Gefühle erlebten nicht nur Splunk-Partner, sondern auch Kunden, denen plötzlich der Zugang zu ihren Konten verwehrt war. Als sich die Leidenschaften nach ein paar Tagen etwas beruhigten ( siehe Details zu Habré ), sagte Splunk, dass Kunden mit gültigen Lizenzen ihre Konten bis zum Ablauf der Lizenzen nutzen können und die Partner sie weiterhin auf eigenes Risiko bedienen können, jedoch ohne Unterstützung von Verkäufer.

Die Version des Autors über Splunk, der Russland verlässt, aber es ist möglich, dass alles falsch war

In diesem Abschnitt werden wir einen Antihelden haben, es gibt sogar zwei von ihnen, und beide von Splunk sind Doug Merritt (CEO) und Carrie Palin (CMO, Director of Marketing).

Öffentliche amerikanische Unternehmen haben einen wundervollen Bereich auf der Website, auf dem sie verpflichtet sind, den Anlegern die Lage ihrer Geschäfte mitzuteilen. Hier erfahren Sie Folgendes: Als Splunk (SPLK, NASDAQ) eine Pressemitteilung zum Verlassen Russlands veröffentlichte, war dies Carrie Palins erster Arbeitstag, CMO - sie haben sie gerade angeheuert. Aber die Entscheidung, Russland zu verlassen, wurde wahrscheinlich etwas früher getroffen. Es gab höchstwahrscheinlich Konsultationen mit ihr, Verhandlungen vor dem offiziellen ersten Arbeitstag und Kostensenkungen für das Verlassen Russlands waren ihr Vorschlag für „frische Marketingideen“, wie es bei Interviews mit Top-Managern üblich ist.

CEO, Doug Merritt, es ist möglich, dass die Idee angenommen wurde, und der damalige CFO (Financial Director) Splunk, der in diesem Moment seine Kadenz abschloss und das Unternehmen verließ, hatte offenbar keine Einwände (im Mai 2019 stellten sie einen neuen CFO ein).

Jeder, der in den US-Markt investiert - das erste, was er tun muss, ist, sich anzuschauen - wie hat die Splunk-Aktie auf den Austritt aus dem russischen Markt reagiert? Die Antwort ist nein, neutral (siehe Grafik). Der darauffolgende Rückgang der Aktien ab dem 1. März 2019 ist mit Cisco verbunden - ein Insider warf vor, sie hätten sie verkauft, sie dann nicht verkauft (und bisher nicht verkauft).


SPLK daily Aktien-Chart für das Frühjahr 2019. Quelle: Tradingview

Die Grafik zeigt, dass der offiziell erklärte Grund, Russland wegen „Optimierung für Investoren“ zu verlassen, keine hundertprozentige Entschuldigung war, sondern zumindest teilweise zutrifft. Sie können ihre Logik verstehen - die damalige Aktienwachstumskurve war beeindruckend (und der russische Markt hat dies nicht verdient - die Fed hat den amerikanischen Aktienmarkt mit Liquidität aufgepumpt). Gleichzeitig war das Geschäft in der Russischen Föderation im Splunk-Maßstab nur durch ein Mikroskop sichtbar (trotz aller Bemühungen der Partner in der Russischen Föderation), und es gab eine Menge Aufhebens, und man konnte jederzeit unter die Sanktionsverteilung geraten (die zu Beginn des Jahres 2019 ein sehr reales Risiko darstellte).

Nachsorge Ersatzproduktbeispiel Splunk

Obwohl Splunk keinen direkten Konkurrenten in Form einer kommerziellen Lösung auf unserem Markt hatte, haben russische Entwickler versucht, auf der Basis von ELK-Open-Source-Projekten ein für sie passendes Analog zu erstellen. Dies geschah hauptsächlich in mittelständischen Unternehmen, die es sich nicht leisten konnten, Splunk zu kaufen. Aber die Praxis war nicht weit verbreitet, weil Selbstgeschriebene Produkte werden von bestimmten Mitarbeitern mit Begeisterung aufgenommen und nach dem Verlassen des Unternehmens aufgegeben.

Es gibt eine kommerzielle Version für ELK, aber in der Russischen Föderation ist sie nur minimal gefragt und konkurriert in vielerlei Hinsicht mit freier Software.

ELK ist eine Abkürzung für drei Open Source-Projekte: Elasticsearch, Logstash und Kibana. Hier ist Elasticsearch die Suche und Analyse, Logstash die Maschinendatenverarbeitung aus mehreren Quellen gleichzeitig und Kibana ist ein Projekt zur Erstellung von Ergebnisvisualisierungstools aus Elasticsearch und Logstash. Obwohl ELK ursprünglich nicht auf die Analyse von Maschinendaten ausgerichtet war, begann es bald, Protokolle mit einem Zeitstempel zu verarbeiten.

Der Autor verpflichtet sich nicht, über das Schicksal aller IT-Unternehmen in Russland im Zusammenhang mit der Einführung von Splunk zu berichten, aber es gibt eine erzählende Geschichte - wie die Ereignisse von 2019 das Geschäft von VolgaBlob, einem Partner von Splunk, zum Geschäft gemacht haben.

Volgablob und andere frühere Partner von Splunk hatten zwei Marktnischen, nachdem der Verkäufer gegangen war. Das erste besteht darin, Kunden mit vorhandenen Lizenzen auf der Splunk-Plattform weiterhin zu bedienen (und unter ihnen gibt es Unternehmen mit unbefristeten Lizenzen), das zweite darin, Kunden, die auf eine andere Plattform migrieren möchten, eine Alternative auf der Basis eines Open-Source-Produkts zu bieten.

Wie Sie wissen, ist jede Krise nicht nur ein Verlust, sondern auch neue Chancen. VolgaBlob befand sich in einer sehr schwierigen Situation, da die Einführung und Anpassung von Splunk-Anwenderfällen ihre wesentliche Quelle für Bestellungen und natürlich für Einnahmen darstellte. Anstatt das Geschäft zu schließen oder in andere Nischen zu gehen, stellten sie das Team neu zusammen, stellten neue Entwickler ein und begannen, ihre Anwendungsentwicklung von der Splunk-Plattform auf das ELK zu ziehen.

„Im Laufe der Jahre, in denen Splunk auf dem russischen Markt vertreten war, haben wir eine eigene Anwendungssuite für Splunk erstellt, die wir als Smart Monitor bezeichneten. Es werden die "Features" gesammelt, die von russischen Kunden am meisten gefordert werden. Als der Verkäufer plötzlich ging, halfen uns die Scharfsinnigkeit und der Wunsch, bei der Auswahl einer Plattform für die Arbeit mit Maschinendaten zu diversifizieren, die auf einmal gezeigt wurden, “, sagt Alexander Skakunov.

Als Reaktion auf den Kommentar von Habr zum Ausscheiden des Anbieters "... Vielleicht gibt es Handwerker, die eine Alternative schaffen", gelang es VolgaBlob, in kurzer Zeit eine Reihe von Analyse-Tools zu implementieren, die zuvor für Splunk entwickelt wurden, jetzt jedoch auf der ELK-Plattform. Die neue Lösung heißt Smart Monitor Open Source . Es gibt kein Ökosystem von Anwendungen anderer unabhängiger Entwickler. Es gibt jedoch einige Datenerfassungs- und Analysemodule, die von aktuellen Kundenvorgängen ausgewählt wurden, d. H. auf dem russischen Markt nachgefragt.

Zum ersten Mal wurde Smart Monitor Open Source auf der Konferenz VB-Trend 2019: Plan> B vorgestellt, die am 13. November 2019 in Moskau stattfand. Im Namen - der Wunsch, ein Ersatzprodukt anzubieten und Karten zu einem Thema aufzudecken, das Hunderte von Unternehmen in Russland beunruhigt, die zuvor Splunk verwendet haben.

Der Autor hält es nicht für richtig, hier Materialien von der Konferenz zu kopieren. Fachleute auf dem Gebiet der Maschinendatenanalyse werden auf den Seiten von VB-Trend 2019 mehr über das Ersatzprodukt Splunk erfahren. Und alle anderen, einschließlich des Autors, können sich nur für die russischen Entwickler freuen.