Un año sin Splunk: cómo una empresa estadounidense cambió el mercado de análisis de datos de máquinas en Rusia y a quién dejó atrás

Hace casi un año, Splunk murió en Rusia. Este artículo es en gran parte una revisión. Se trata de los datos de la máquina, el nicho de mercado y el ejemplo de sustitución de importaciones que ocurrió sin consignas de alto perfil, simplemente porque el mercado lo requería. Exclusivamente: la versión del autor sobre la razón por la cual Splunk dejó Rusia, pero es posible que todo estuviera completamente mal.

¿Qué son los datos de la máquina?

Aunque muchos de nosotros escuchamos el término "Big Data" con mucha más frecuencia, hablaremos de los datos de la máquina, es decir. Datos generados digitalmente de una amplia variedad de fuentes. Y no se trata de reducir el dominio, sino precisamente de la precisión de la definición.

Los datos de la máquina son datos generados por dispositivos digitales. Estos incluyen registros de servidores corporativos y dispositivos de red, datos de sensores de sistemas industriales y dispositivos IoT, mensajes al correo electrónico corporativo, actividad en un servidor web, registros de empleados que entran y salen de sus cuentas, transacciones financieras digitales, llamadas al soporte de la empresa y mucho, mucho más.

Es importante que, entre los mensajes puramente técnicos, los datos de la máquina contengan una gran cantidad de información que refleje los procesos comerciales de la organización: la interacción de la empresa con sus contrapartes e intermediarios (bancos, compañías de seguros y servicios, autoridades reguladoras). Estadísticas de la actividad de los empleados en la red corporativa y durante el movimiento físico alrededor de la empresa, el movimiento de mercancías en el almacén, la demanda y la duración del servicio, etc. - Todo esto también son datos de la máquina.

Entonces surge la idea: analizar los datos de la máquina para identificar los cuellos de botella de los sistemas de TI y las empresas, optimizar la calidad del servicio al cliente, encontrar vulnerabilidades en la seguridad de la información de la empresa y las huellas de los estafadores.

La complejidad del uso de datos de máquina radica en el hecho de que se presentan en una increíble cantidad de formatos.

La idea es cierta, pero difícil de implementar. La complejidad del uso de datos de máquina radica en el hecho de que se presentan en una increíble cantidad de formatos, y las herramientas tradicionales de monitoreo y análisis no están diseñadas para tal variedad, velocidad de recepción, volumen o variabilidad de estos datos.

Comenzó con los sistemas SIEM y la inteligencia de negocios, y terminó con las soluciones de Splunk.

Cuando hace 10 años comenzó el estudio de la aplicabilidad de los datos de la máquina, las soluciones de software para su procesamiento y análisis comenzaron a aparecer en el mercado. En un esfuerzo por crear las mejores herramientas de su clase, los desarrolladores comenzaron a reducir el área temática del análisis de datos de la máquina.

Entonces apareció y alcanzó un alto nivel de madurez del sistema SIEM (Información de seguridad y gestión de eventos). Estos son productos de software en el campo de la seguridad de la información (IS). Supervisan los sistemas de información en tiempo real, recopilan y analizan los datos de la máquina relacionados con la seguridad de la información. El alcance de los sistemas SIEM incluye servidores, dispositivos de red, sensores, dispositivos de escritorio y móviles, herramientas de seguridad de la información, infraestructura de sistemas y aplicaciones.

Otra rama del análisis de datos de máquinas se ha convertido en sistemas de monitoreo de infraestructura de TI. Tercero: sistemas de inteligencia empresarial (BI, inteligencia empresarial), que analizan los procesos empresariales basados ​​en una serie de datos relacionados con la actividad empresarial de la empresa.

Lo que es bueno: se ha logrado un éxito significativo en cada una de las ramas enumeradas del análisis de datos de máquinas, y se han introducido soluciones y productos decentes en el mercado. Lo que no es tan bueno: la integración de sistemas heterogéneos para monitorear la infraestructura de TI, registrar y prevenir incidentes de seguridad de la información y analizar los procesos comerciales ha resultado ser un asunto bastante complicado, que a veces recuerda a "cruzar un erizo y una serpiente".

Cuando el mercado reconoció este problema, varios proveedores dirigieron los esfuerzos de sus desarrolladores para crear un sistema universal de análisis de datos de máquina. Es decir, un sistema que por sí solo podría responder a la pregunta del CIO: "¿Por qué tengo una carga tan desigual de servidores?", Y la pregunta del CEO: "¿Cuál de los procesos comerciales de la empresa nos lleva a obtener ganancias y a la bancarrota?".

En general, el mercado está de acuerdo en que la solución universal más exitosa para el análisis de datos de máquinas fue propuesta por la empresa estadounidense Splunk.

Dio la casualidad de que la solución universal más exitosa para analizar los datos de la máquina fue propuesta por la empresa estadounidense Splunk. Mientras que Splunk tiene competidores como IBM, BMC Software, Microsoft, Quest Software, así como opciones para implementar análisis en la pila ELK de código abierto. Pero fueron las soluciones de Splunk las que se convirtieron en los líderes del mercado. Splunk Enterprise : el producto con la funcionalidad más amplia se ha convertido en el estándar de facto de la industria para sistemas integrados de análisis de datos de máquinas para grandes empresas.

El mercado aceptó los productos Splunk, en primer lugar, por una excelente combinación de facilidad de instalación, flexibilidad de configuración y una variedad de herramientas analíticas. Splunk tiene su propio ecosistema llamado Splunkbase . Aquí, los desarrolladores y clientes de la comunidad Splunk publican varios complementos, complementos tecnológicos y aplicaciones que resuelven diferentes tareas. Por ejemplo, puede descargar aplicaciones allí, una de las cuales recopila registros de dispositivos Cisco, y la segunda de dispositivos de red de otro fabricante, etc. Esta interacción es beneficiosa tanto para los desarrolladores como para los clientes.


Vista general de la pantalla de Splunkbase. Fuente: Splunk


Los primeros planos son ejemplos de complementos y aplicaciones en Splunkbase. El número de descargas se indica como una métrica de popularidad. Fuente: Splunk

Si profundiza un poco en el ecosistema de Splunkbase, puede aclarar las diferencias: la aplicación difiere del complemento en que la aplicación tiene una interfaz gráfica. Estos son paneles visuales, paneles (diales), formularios, diagramas que le permiten ver análisis de una pregunta dirigida al sistema en la interfaz gráfica. El usuario puede construir una búsqueda y análisis en una variedad de parámetros, profundizando tanto como sea posible en el intervalo de tiempo de los eventos para identificar las causas de lo que sucedió.

La historia de Splunk en Rusia es brillante, pero de corta duración.

Un producto tan rico en funcionalidad como Splunk no podía pasar la atención del CIO de las grandes compañías rusas. De hecho, cuanto más grande es la empresa, más difícil es administrar e identificar los factores que afectan el rendimiento del negocio, la estabilidad de la infraestructura de TI y las herramientas de seguridad de la información.


Presentación general de la solución Splunk Enterprise ( https://www.volgablob.ru/en/solutions/splunk ). Fuente: VolgaBlob

Splunk llegó a Rusia a principios de 2013 y comenzó a construir una red de afiliados de acuerdo con el esquema clásico: un distribuidor de licencias (RRC) y socios implementadores (VolgaBlob, TS Solution, Talmer). Teniendo en cuenta que el costo de la licencia de Splunk es bastante alto y que el proveedor se centró en los clientes de las grandes empresas (y todos cuentan), el número de socios fue pequeño.

VolgaBlob fue uno de los primeros socios en comenzar a trabajar con las soluciones de Splunk. Los últimos 10 años de experiencia en el desarrollo, personalización e implementación de herramientas de seguridad de la información fueron útiles.

“Éramos un jugador maduro en el mercado de seguridad cibernética, pero Splunk fue un verdadero descubrimiento (!) Para nosotros y una nueva perspectiva emocionante. Comenzamos a desarrollar nuestra experiencia en el campo del análisis de procesos de negocios, incluso en la interfaz con la seguridad de la información, para construir conjuntos de nuestros conectores técnicos y aplicaciones en el ecosistema Splunk y para ofrecerlo todo en el marco de casos específicos de usuarios terminados para empresas a nivel federal ", Alexander comparte sus impresiones. Skakunov , CEO de VolgaBlob.

Para 2018, en el que se completó la mayor cantidad de proyectos basados ​​en Splunk Enterprise en Rusia, la cantidad de clientes que usaban Splunk incluía marcas como Rosneft y SUEK, Sberbank y Tinkoff Bank, MTS, Moscow Exchange y Megafon. La culminación de los eventos: el 0 de octubre de 2018, la conferencia Splunk Discovery Day Moscú 2018 fue impresionante en términos de número de participantes y nivel de informes. Un salón completo y CIO de muchas compañías. ¿Cuál de los participantes podría haber sugerido que en solo 3 meses el mercado tendrá estados de ánimo completamente diferentes?


Foto de la conferencia Splunk Discovery Day Moscú 2018. Fuente: avleonov.com

El 19 de febrero de 2019, Splunk anunció una salida de emergencia del mercado ruso inesperadamente para nuestra comunidad de TI. Los socios y clientes que permanecieron perdidos solo pudieron leer el comunicado de prensa indistinto en el sitio web del proveedor . En él, la retirada de Rusia se explicaba vagamente por "razones de inversión". Todos los intentos de los socios para obtener explicaciones más inteligibles han sido inútiles.

Se experimentaron sensaciones desagradables no solo por parte de los socios de Splunk, sino también por parte de los clientes que de repente no pudieron acceder a sus cuentas. Cuando después de unos días las pasiones se calmaron un poco ( ver detalles sobre Habré ), Splunk dijo que los clientes con licencias válidas pueden usar sus cuentas hasta que expiren las licencias, y los socios pueden continuar sirviéndolas bajo su propio riesgo, pero sin la ayuda de vendedor

La versión del autor sobre Splunk saliendo de Rusia, pero es posible que todo estuviera mal

En esta sección, tendremos un antihéroe, incluso hay dos, y Splunk son Doug Merritt (CEO) y Carrie Palin (CMO, Director de Marketing).

Las empresas públicas estadounidenses tienen una sección maravillosa del sitio donde están obligadas a revelar a los inversores la situación de sus asuntos. Aquí puede encontrar lo siguiente: 19/02/2019, cuando Splunk (SPLK, NASDAQ) publicó un comunicado al salir de Rusia, era el primer día hábil de Carrie Palin, CMO: la contrataron. Pero la decisión de abandonar Rusia probablemente se tomó un poco antes. Probablemente, hubo consultas con ella, negociaciones antes del primer día hábil oficial y la reducción de costos al salir de Rusia fue su propuesta de "nuevas ideas de marketing", como es habitual en las entrevistas con los altos directivos.

CEO, Doug Merritt, es posible que la idea haya sido aprobada, y el entonces CFO (director financiero) Splunk, que estaba finalizando su cadencia en ese momento y abandonando la compañía, aparentemente no se opuso (en mayo de 2019 contrataron a un nuevo CFO).

Cualquiera que invierta en el mercado de Estados Unidos, lo primero que debe hacer es mirarlo, ¿cómo reaccionaron las acciones de Splunk al abandonar el mercado ruso? La respuesta es no, neutral (ver gráfico). La posterior disminución de las acciones desde el 1 de marzo de 2019 está asociada con Cisco: se arrojó una información privilegiada que supuestamente las vendió, luego no las vendió (y hasta ahora no las ha vendido).


Gráfico diario de acciones SPLK para la primavera de 2019. Fuente: Tradingview

El gráfico muestra que la razón oficialmente declarada para abandonar Rusia sobre "optimización para inversores" no era una excusa del 100%, sino al menos parcialmente cierta. Puede comprender su lógica: la curva de crecimiento de las acciones en ese momento era impresionante (y no hay mérito del mercado ruso en esto: la Fed impulsó el mercado de valores estadounidense con liquidez). Al mismo tiempo, en una escala de Splunk, los negocios en la Federación de Rusia solo eran visibles a través de un microscopio (a pesar de todos los esfuerzos de los socios en la Federación de Rusia), y había mucho escándalo y en cualquier momento podía estar bajo la distribución de sanciones (que a principios de 2019 era un riesgo muy real).

Ejemplo de producto de reemplazo de cuidado posterior Splunk

Aunque Splunk no tenía un competidor directo en la forma de una solución comercial en nuestro mercado, los desarrolladores rusos intentaron hacer un análogo que les convenga sobre la base de proyectos de código abierto ELK. Esto se hizo principalmente en empresas medianas que no podían permitirse comprar Splunk. Pero la práctica no fue generalizada, porque Los productos escritos por sí mismos se mantienen por el entusiasmo de empleados específicos y se abandonan después de que se van.

Existe una versión comercial para ELK, pero en la Federación de Rusia tiene una demanda mínima y, en muchos aspectos, compite con el software libre.

ELK es la abreviatura de tres proyectos de código abierto Elasticsearch, Logstash y Kibana. Aquí, Elasticsearch es búsqueda y análisis, Logstash es procesamiento de datos de máquinas de varias fuentes al mismo tiempo, y Kibana es un proyecto para crear herramientas de visualización de resultados de Elasticsearch y Logstash. Aunque inicialmente ELK no tenía como objetivo analizar los datos de la máquina, pronto comenzó a usarse para procesar registros con una marca de tiempo.

El autor no se compromete a contar el destino de todas las empresas de TI en Rusia relacionadas con la implementación de Splunk, pero hay una historia reveladora: cómo los eventos de 2019 convirtieron el negocio de VolgaBlob, un socio de Splunk, en un negocio.

Volgablob, así como otros ex socios de Splunk, tuvieron dos nichos de mercado después de que el vendedor se fue. El primero es continuar sirviendo a los clientes con licencias existentes en la plataforma Splunk (y entre ellos hay compañías con licencias perpetuas), el segundo es brindar a los clientes que desean migrar a otra plataforma una alternativa basada en un producto de código abierto.

Como saben, cualquier crisis no es solo una pérdida, sino también nuevas oportunidades. VolgaBlob resultó estar en una situación muy difícil, ya que la introducción y personalización de los casos de usuarios de Splunk fueron su fuente importante de pedidos y, por supuesto, de ingresos. En lugar de cerrar el negocio o ir a otros nichos, reagruparon el equipo, contrataron nuevos desarrolladores y comenzaron a arrastrar el desarrollo de sus aplicaciones desde la plataforma Splunk hacia ELK.

“A lo largo de los años de la presencia de Splunk en el mercado ruso, hemos creado nuestro propio conjunto de aplicaciones patentadas para Splunk, que llamamos Smart Monitor. Se recogen las "características" más demandadas por los clientes rusos. Cuando el vendedor se fue de repente, la sagacidad y el deseo de diversificarse al elegir una plataforma para trabajar con datos de la máquina, que se mostró en un momento, nos ayudaron ”, dice Alexander Skakunov.

Como si respondiera a un comentario de Habr sobre el retiro del vendedor "... Tal vez haya artesanos que harán una alternativa", VolgaBlob logró implementar rápidamente un conjunto de herramientas analíticas Smart Monitor, previamente desarrollado para Splunk, pero ahora en la plataforma ELK. La nueva solución se llama Smart Monitor Open Source . No existe un ecosistema de aplicaciones de otros desarrolladores independientes. Pero hay bastantes módulos de recopilación de datos y análisis seleccionados por casos actuales de clientes existentes, es decir. exigido en el mercado ruso.

Por primera vez, Smart Monitor Open Source se presentó en la conferencia VB-Trend 2019: Plan> B , celebrada el 13 de noviembre de 2019 en Moscú. En el nombre, el deseo de ofrecer un producto de reemplazo y revelar tarjetas sobre un tema que preocupa a cientos de empresas en Rusia que anteriormente usaban Splunk.

El autor no considera correcto copiar los materiales de la conferencia aquí. Los especialistas que trabajan en el campo del análisis de datos de máquinas aprenderán más sobre el producto Splunk de reemplazo en las páginas de VB-Trend 2019. Y todos los demás, incluido el autor, podemos estar felices por los desarrolladores rusos.