Muchos autores extranjeros están de acuerdo en que la era de Big Data ha llegado a su fin. Y en este caso, el término Big Data se refiere a tecnologías basadas en Hadoop. Muchos autores incluso pueden nombrar con confianza la fecha en que Big Data dejó este mundo y esta fecha es 06/05/2019.
¿Qué pasó en este día trascendental?
En este día, la compañía MAPR prometió suspender su trabajo si no puede encontrar los fondos para un mayor funcionamiento. Más tarde, en agosto de 2019, MAPR fue adquirida por HP. Pero volviendo a junio, uno no puede dejar de notar la tragedia de este período para el mercado de Big Data. Este mes, las cotizaciones de acciones colapsaron con CLOUDERA, un jugador líder en el mercado designado, que se fusionó con los HORTOWORKS crónicamente no rentables en enero del mismo año. El colapso fue muy significativo y ascendió a 43%, al final, la capitalización de CLOUDERA disminuyó de 4.1 a 1.4 billones de dólares.
Es imposible no decir que los rumores sobre inflar la burbuja en el campo de la tecnología basada en Hadoop han estado circulando desde diciembre de 2014, pero valientemente duró casi cinco años más. Estos rumores se basaron en el fracaso de Google, la compañía en la que nació la tecnología Hadoop, a partir de su invención. Pero la tecnología se ha arraigado durante la transición de las empresas a herramientas de procesamiento basadas en la nube y el rápido desarrollo de la inteligencia artificial. Por lo tanto, volviendo atrás, podemos decir con confianza que se esperaba la desaparición.
Por lo tanto, la era de Big Data llegó a su fin, pero en el proceso de trabajar en big data, las empresas se dieron cuenta de todos los matices de trabajar en él, los beneficios que Big Data puede aportar a un negocio, y también aprendieron cómo usar la inteligencia artificial para extraer valor de los datos en bruto.
Lo más interesante es la cuestión de qué reemplazará esta tecnología y cómo las tecnologías analíticas continuarán desarrollándose.
Analítica Aumentada
Durante los eventos descritos, las empresas que trabajan en el campo del análisis de datos no se quedaron quietas. Lo que se puede juzgar por la información sobre las transacciones que ocurrieron en 2019. Este año, se llevó a cabo la transacción más grande del mercado: la adquisición de Salesforce de la plataforma analítica Tableau por 15,7 mil millones de dólares. Se produjo un acuerdo menor entre Google y Looker. Y, por supuesto, uno no puede dejar de notar la adquisición por parte de Qlik, la gran fecha de la plataforma Attunity.
Los líderes del mercado de BI y los expertos de Gartner afirman un cambio tremendo en los enfoques de análisis de datos, este cambio destruirá por completo el mercado de BI y conducirá a la sustitución de BI por IA. En este contexto, debe tenerse en cuenta que la abreviatura AI no es "inteligencia artificial" sino "inteligencia aumentada". Echemos un vistazo más de cerca a lo que se esconde detrás de las palabras "Análisis Aumentado".
La analítica aumentada, así como la realidad aumentada, se basa en varios postulados generales:
- la capacidad de comunicarse usando PNL (procesamiento del lenguaje natural), es decir en lenguaje humano;
- el uso de inteligencia artificial, esto significa que los datos serán preprocesados por la inteligencia artificial;
- y, por supuesto, las recomendaciones disponibles para el usuario del sistema, que de todos modos generó inteligencia artificial.
Según los fabricantes de plataformas analíticas, su uso estará disponible para usuarios que no tengan habilidades especiales, como el conocimiento de SQL o un lenguaje de programación similar, que no tengan capacitación estadística o matemática, y que no tengan conocimiento en el campo de los idiomas populares especializados en el procesamiento de datos y las bibliotecas correspondientes. Estas personas, llamadas Citizen Data Scientist, solo deberían tener calificaciones comerciales sobresalientes. Su tarea es capturar información comercial de los consejos y pronósticos que la inteligencia artificial les dará, y podrán refinar sus conjeturas utilizando PNL.
Al describir el proceso de los usuarios que trabajan con sistemas de esta clase, uno puede imaginar la siguiente imagen. Una persona que viene a trabajar y lanza la aplicación correspondiente, además del conjunto habitual de informes y paneles que se pueden analizar utilizando enfoques estándar (clasificación, agrupación, realización de operaciones aritméticas), ve ciertas sugerencias y recomendaciones, algo como: "Para lograr KPI en términos de cantidad ventas, debe aplicar un descuento en productos de la categoría "Jardinería" ". Además, una persona puede contactar al mensajero corporativo: Skype, Slack, etc. Puede hacerle preguntas al robot, en texto o en voz: "Tráeme los cinco clientes más rentables". Después de recibir la respuesta adecuada, debe tomar las mejores decisiones en función de su experiencia en los negocios y generar ganancias para la empresa.
Si retrocede un paso y observa la composición de la información analizada, y en esta etapa, los productos de la clase de análisis aumentado pueden simplificar la vida de las personas. Idealmente, se supone que el usuario solo necesita señalar el producto analítico a las fuentes de la información deseada, y el programa mismo se encargará de crear un modelo de datos, un montón de tablas y tareas similares.
Todo esto debería, en primer lugar, garantizar la "democratización" de los datos, es decir cualquiera puede analizar toda la gama de información disponible para la empresa. El proceso de toma de decisiones debe estar respaldado por métodos de análisis estadístico. El tiempo de acceso a los datos debe ser mínimo, ya que no es necesario escribir scripts y consultas SQL. Y, por supuesto, será posible ahorrar en especialistas de Data Science altamente pagados.
Hipotéticamente, las tecnologías abren perspectivas muy brillantes para los negocios.
Lo que reemplaza Big Data
Pero, de hecho, comencé mi artículo con Big Data. Y no podría desarrollar este tema sin una breve excursión a las herramientas de BI modernas, cuya base, a menudo, es Big Data. El destino de los grandes datos ahora es claramente una conclusión inevitable, y estas son tecnologías en la nube. Me concentré en las transacciones realizadas con proveedores de BI para demostrar que ahora cada sistema de análisis tiene almacenamiento en la nube y los servicios en la nube tienen BI como front-end.
No se olvide de los pilares en el campo de las bases de datos como ORACLE y Microsoft, es necesario tener en cuenta la dirección comercial elegida y esta nube. Todos los servicios ofrecidos se pueden encontrar en la nube, pero algunos servicios en la nube ya no se pueden obtener en las instalaciones. Han realizado un trabajo significativo en el uso de modelos de aprendizaje automático, crearon bibliotecas disponibles para los usuarios, configuraron interfaces para la conveniencia de trabajar con modelos desde su selección hasta establecer la hora de inicio.
Otra ventaja importante del uso de servicios en la nube, expresada por los fabricantes, es la presencia de conjuntos de datos prácticamente ilimitados sobre cualquier tema para los modelos de capacitación.
Sin embargo, surge la pregunta, ¿cuánto arraiga la tecnología de nube en nuestro país?