De nombreux auteurs étrangers conviennent que l'ère du Big Data a pris fin. Et dans ce cas, le terme Big Data fait référence aux technologies basées sur Hadoop. De nombreux auteurs peuvent même nommer en toute confiance la date à laquelle le Big Data a quitté ce monde et cette date est le 06/05/2019.
Que s'est-il passé ce jour mémorable?
Ce jour-là, la société MAPR a promis de suspendre ses travaux si elle ne trouvait pas les fonds nécessaires à son bon fonctionnement. Plus tard, en août 2019, MAPR a été acquise par HP. Mais revenant à juin, on ne peut manquer de noter la tragédie de cette période pour le marché du Big Data. Ce mois-ci, les cotations boursières se sont effondrées avec CLOUDERA, un acteur de premier plan du marché désigné, qui a fusionné avec HORTOWORKS chroniquement non rentable en janvier de la même année. L'effondrement a été très important et s'est élevé à 43%, au final, la capitalisation de CLOUDERA est passée de 4,1 à 1,4 milliard de dollars.
Il est impossible de ne pas dire que des rumeurs sur le gonflement de la bulle dans le domaine de la technologie basée sur Hadoop circulent depuis décembre 2014, mais elles ont courageusement duré près de cinq ans de plus. Ces rumeurs étaient basées sur l'échec de Google, la société dans laquelle la technologie Hadoop est née, de son invention. Mais la technologie a pris racine lors de la transition des entreprises vers des outils de traitement basés sur le cloud et du développement rapide de l'intelligence artificielle. Par conséquent, en revenant en arrière, nous pouvons dire avec confiance que la disparition était attendue.
Ainsi, l'ère du Big Data a pris fin, mais dans le processus de travail sur le Big Data, les entreprises ont réalisé toutes les nuances de leur travail, les avantages que le Big Data peut apporter à une entreprise et ont également appris à utiliser l'intelligence artificielle pour extraire de la valeur des données brutes.
D'autant plus intéressante est la question de savoir ce qui remplacera cette technologie et comment les technologies d'analyse continueront de se développer.
Analytique augmentée
Au cours des événements décrits, les entreprises travaillant dans le domaine de l'analyse des données ne se sont pas arrêtées. Que peut-on juger à partir des informations sur les transactions qui ont eu lieu en 2019. Cette année, la transaction la plus importante du marché a été réalisée - l'acquisition de Salesforce de la plateforme analytique Tableau pour 15,7 milliards de dollars. Un accord plus petit s'est produit entre Google et Looker. Et bien sûr, on ne peut manquer de noter l'acquisition par Qlik - la grande date de la plateforme Attunity.
Les leaders du marché de la BI et les experts de Gartner affirment un changement énorme dans les approches d'analyse des données, ce changement détruira complètement le marché de la BI et conduira au remplacement de la BI par l'IA. Dans ce contexte, il convient de noter que l'abréviation AI n'est pas «Intelligence artificielle» mais «Intelligence augmentée». Examinons de plus près ce qui se cache derrière les mots «Augmented Analytics».
L'analytique augmentée, ainsi que la réalité augmentée, est basée sur plusieurs postulats généraux:
- la capacité de communiquer en utilisant le NLP (Natural Language Processing), c'est-à-dire en langage humain;
- l'utilisation de l'intelligence artificielle, cela signifie que les données seront prétraitées par l'intelligence artificielle;
- et bien sûr les recommandations à la disposition de l'utilisateur du système, qui ont tout de même généré l'intelligence artificielle.
Selon les fabricants de plates-formes analytiques, leur utilisation sera accessible aux utilisateurs qui n'ont pas de compétences particulières, telles que la connaissance de SQL ou d'un langage de script similaire, qui n'ont pas de formation statistique ou mathématique, et qui n'ont pas de connaissances dans le domaine des langues populaires spécialisées dans le traitement des données et les bibliothèques correspondantes. Ces personnes, appelées Citizen Data Scientist, ne devraient avoir que des qualifications commerciales exceptionnelles. Leur tâche consiste à capturer les informations commerciales à partir des conseils et des prévisions que l'intelligence artificielle leur donnera, et ils seront en mesure d'affiner leurs suppositions à l'aide de la PNL.
Décrivant le processus des utilisateurs travaillant avec des systèmes de cette classe, on peut imaginer l'image suivante. Une personne venant au travail et lançant l'application correspondante en plus de l'ensemble habituel de rapports et de tableaux de bord qui peuvent être analysés à l'aide d'approches standard (tri, regroupement, exécution d'opérations arithmétiques) voit certains conseils et recommandations, quelque chose comme: «Afin d'atteindre les KPI par quantité ventes, vous devez appliquer une remise sur les produits de la catégorie "Jardinage" ". De plus, une personne peut contacter le messager d'entreprise: Skype, Slack etc. Il peut poser des questions au robot, par SMS ou par voix: "Apportez-moi les cinq clients les plus rentables." Ayant reçu la réponse appropriée, il doit prendre les meilleures décisions en fonction de son expérience en affaires et apporter des bénéfices à l'entreprise.
Si vous prenez du recul et regardez la composition des informations analysées, et à ce stade, les produits de la classe d'analyse augmentée peuvent simplifier la vie des gens. Idéalement, il est supposé que l'utilisateur n'a qu'à indiquer le produit analytique aux sources des informations souhaitées, et le programme lui-même se chargera de créer un modèle de données, un tas de tableaux et des tâches similaires.
Tout cela devrait tout d'abord assurer la «démocratisation» des données, c'est-à-dire n'importe qui peut analyser l'ensemble des informations dont dispose l'entreprise. Le processus décisionnel devrait être soutenu par des méthodes d'analyse statistique. Le temps d'accès aux données doit être minimal, car il n'est pas nécessaire d'écrire des scripts et des requêtes SQL. Et bien sûr, il sera possible d'économiser sur des spécialistes hautement rémunérés de la science des données.
En théorie, les technologies ouvrent de très belles perspectives pour les entreprises.
Ce qui remplace le Big Data
Mais, en fait, j'ai commencé mon article avec le Big Data. Et je ne pourrais pas développer ce sujet sans une brève excursion dans les outils de BI modernes, dont la base, souvent, est le Big Data. Le sort des mégadonnées est désormais clairement acquis, et ce sont les technologies cloud. Je me suis concentré sur les transactions effectuées avec les fournisseurs de BI afin de démontrer que maintenant chaque système d'analyse a un stockage cloud en dessous et que les services cloud ont la BI comme frontal.
N'oubliez pas de tels piliers dans le domaine des bases de données comme ORACLE et Microsoft, il faut noter leur direction commerciale choisie et ce cloud. Tous les services offerts peuvent être trouvés dans le cloud, mais certains services cloud ne peuvent plus être obtenus sur site. Ils ont fait un travail important sur l'utilisation de modèles d'apprentissage automatique, créé des bibliothèques disponibles pour les utilisateurs, configuré des interfaces pour la commodité de travailler avec des modèles de sa sélection à la définition de l'heure de début.
Un autre avantage important de l'utilisation des services cloud, exprimé par les fabricants, est la présence d'ensembles de données pratiquement illimités sur n'importe quel sujet pour les modèles de formation.
Cependant, la question se pose: dans quelle mesure la technologie cloud prend-elle racine dans notre pays?