Viele ausländische Autoren sind sich einig, dass die Big Data-Ära zu Ende ist. In diesem Fall bezieht sich der Begriff Big Data auf Technologien, die auf Hadoop basieren. Viele Autoren können sogar sicher das Datum nennen, an dem Big Data diese Welt verlassen hat, und dieses Datum ist der 05.06.2019.
Was ist an diesem bedeutsamen Tag passiert?
An diesem Tag versprach das Unternehmen MAPR, seine Arbeit einzustellen, wenn es die Mittel für das weitere Funktionieren nicht finden kann. Später, im August 2019, wurde MAPR von HP übernommen. Wenn man jedoch auf den Juni zurückkehrt, kann man die Tragödie dieser Zeit für den Big-Data-Markt nicht übersehen. In diesem Monat brachen die Aktienkurse mit CLOUDERA zusammen, einem führenden Unternehmen auf dem ausgewiesenen Markt, das im Januar desselben Jahres mit den chronisch unrentablen HORTOWORKS fusionierte. Der Zusammenbruch war sehr bedeutend und belief sich auf 43%. Am Ende verringerte sich die Kapitalisierung von CLOUDERA von 4,1 auf 1,4 Milliarden Dollar.
Es ist unmöglich, nicht zu sagen, dass seit Dezember 2014 Gerüchte über das Aufblasen der Blase im Bereich der auf Hadoop basierenden Technologie im Umlauf sind, aber sie dauerte tapfer noch fast fünf Jahre. Diese Gerüchte beruhten auf dem Scheitern von Google, dem Unternehmen, in dem die Hadoop-Technologie geboren wurde, aufgrund seiner Erfindung. Die Technologie hat sich jedoch beim Übergang von Unternehmen zu Cloud-basierten Verarbeitungstools und der raschen Entwicklung künstlicher Intelligenz etabliert. Umgekehrt können wir daher zuversichtlich sagen, dass der Niedergang erwartet wurde.
Damit ging die Ära von Big Data zu Ende, aber während der Arbeit an Big Data erkannten die Unternehmen alle Nuancen der Arbeit daran, die Vorteile, die Big Data für ein Unternehmen bringen kann, und lernten auch, wie man künstliche Intelligenz einsetzt, um Wert aus Rohdaten zu gewinnen.
Umso interessanter ist die Frage, was diese Technologie ersetzen und wie sich die Analysetechnologien weiterentwickeln werden.
Augmented Analytics
Während der beschriebenen Ereignisse saßen Unternehmen, die im Bereich der Datenanalyse tätig waren, nicht still. Was lässt sich anhand der Informationen zu Transaktionen im Jahr 2019 beurteilen? In diesem Jahr wurde die größte Transaktion des Marktes durchgeführt - die Übernahme von Salesforce der Analyseplattform Tableau für 15,7 Milliarden Dollar. Zwischen Google und Looker ist ein kleinerer Deal zustande gekommen. Und natürlich kann man die Übernahme durch Qlik nicht verpassen - das große Datum der Attunity-Plattform.
BI-Marktführer und Gartner-Experten behaupten, dass sich die Ansätze zur Datenanalyse enorm verändert haben. Diese Verschiebung wird den BI-Markt vollständig zerstören und dazu führen, dass BI durch KI ersetzt wird. In diesem Zusammenhang ist zu beachten, dass die Abkürzung AI nicht „Künstliche Intelligenz“, sondern „Augmented Intelligence“ ist. Schauen wir uns genauer an, was sich hinter den Worten „Augmented Analytics“ verbirgt.
Augmented Analytics sowie Augmented Reality basieren auf mehreren allgemeinen Postulaten:
- die Fähigkeit zur Kommunikation unter Verwendung von NLP (Natural Language Processing), d.h. in der menschlichen Sprache;
- Bei Verwendung künstlicher Intelligenz bedeutet dies, dass die Daten von maschineller Intelligenz vorverarbeitet werden.
- und natürlich die Empfehlungen, die dem Benutzer des Systems zur Verfügung stehen und die dennoch künstliche Intelligenz erzeugen.
Nach Angaben der Hersteller von Analyseplattformen wird ihre Verwendung Benutzern zur Verfügung stehen, die nicht über besondere Kenntnisse wie SQL oder eine ähnliche Skriptsprache verfügen, keine statistische oder mathematische Ausbildung haben und keine Kenntnisse auf dem Gebiet der auf Datenverarbeitung spezialisierten gängigen Sprachen und entsprechenden Bibliotheken haben. Diese Personen, die als Citizen Data Scientist bezeichnet werden, sollten nur über hervorragende Geschäftsqualifikationen verfügen. Ihre Aufgabe ist es, geschäftliche Erkenntnisse aus den Tipps und Prognosen zu gewinnen, die künstliche Intelligenz ihnen geben wird, und sie werden in der Lage sein, ihre Vermutungen mithilfe von NLP zu verfeinern.
Wenn man den Prozess der Benutzer beschreibt, die mit Systemen dieser Klasse arbeiten, kann man sich das folgende Bild vorstellen. Eine Person, die zur Arbeit kommt und die entsprechende Anwendung startet, sieht zusätzlich zu den üblichen Berichten und Dashboards, die mithilfe von Standardansätzen (Sortieren, Gruppieren, Ausführen von Rechenoperationen) analysiert werden können, bestimmte Hinweise und Empfehlungen, z. B.: „Um einen KPI in Bezug auf die Menge zu erreichen Beim Verkauf sollten Sie einen Rabatt auf Produkte aus der Kategorie "Gartenarbeit" gewähren. Darüber hinaus kann eine Person den Corporate Messenger kontaktieren: Skype, Slack usw. Er kann dem Roboter Fragen per Text oder Stimme stellen: „Bring mir die fünf profitabelsten Kunden.“ Nachdem er die entsprechende Antwort erhalten hat, muss er aufgrund seiner Geschäftserfahrung die besten Entscheidungen treffen und dem Unternehmen Gewinn bringen.
Wenn Sie einen Schritt zurücktreten und sich die Zusammensetzung der analysierten Informationen ansehen, können die Produkte der Augmented Analytics-Klasse zu diesem Zeitpunkt das Leben der Menschen vereinfachen. Im Idealfall wird davon ausgegangen, dass der Benutzer das Analyseprodukt nur auf die Quellen der gewünschten Informationen hinweisen muss, und das Programm selbst kümmert sich um die Erstellung eines Datenmodells, einer Reihe von Tabellen und ähnlicher Aufgaben.
All dies sollte zuallererst eine "Demokratisierung" der Daten sicherstellen, d.h. Jeder kann die gesamte Palette der Informationen analysieren, die dem Unternehmen zur Verfügung stehen. Der Entscheidungsprozess sollte durch statistische Analysemethoden unterstützt werden. Die Datenzugriffszeit sollte minimal sein, da keine Skripte und SQL-Abfragen geschrieben werden müssen. Und natürlich können hochbezahlte Data Science-Spezialisten eingespart werden.
Hypothetisch gesehen eröffnen Technologien sehr gute Geschäftsaussichten.
Was ersetzt Big Data?
Tatsächlich habe ich meinen Artikel mit Big Data begonnen. Und ich könnte dieses Thema nicht ohne einen kurzen Einblick in moderne BI-Tools entwickeln, deren Grundlage häufig Big Data ist. Das Schicksal von Big Data ist nun eindeutig eine Selbstverständlichkeit, und dies sind Cloud-Technologien. Ich habe mich auf Transaktionen mit BI-Anbietern konzentriert, um zu demonstrieren, dass jetzt jedes Analysesystem über Cloud-Speicher verfügt und Cloud-Services BI als Front-End haben.
Vergessen Sie nicht solche Säulen im Bereich von Datenbanken wie ORACLE und Microsoft, es ist notwendig, ihre gewählte Richtung der Geschäftsentwicklung und dieser Cloud zu notieren. Alle angebotenen Dienste befinden sich in der Cloud, einige Cloud-Dienste können jedoch nicht mehr vor Ort bezogen werden. Sie haben umfangreiche Arbeiten zur Verwendung von Modellen für maschinelles Lernen durchgeführt, Bibliotheken erstellt, die Benutzern zur Verfügung stehen, und Schnittstellen konfiguriert, um die Arbeit mit Modellen von der Auswahl bis zur Einstellung der Startzeit zu vereinfachen.
Ein weiterer wichtiger Vorteil der Verwendung von Cloud-Diensten, der von den Herstellern geäußert wird, ist das Vorhandensein praktisch unbegrenzter Datensätze zu jedem Thema für Schulungsmodelle.
Es stellt sich jedoch die Frage, inwieweit die Cloud-Technologie in unserem Land Fuß fasst.