Nous poursuivons notre série d'articles sur SAP HANA Data Management Suite, un hybride de technologies sur site et cloud qui comprend quatre composants de produit: SAP Data Hub, SAP HANA, SAP Enterprise Architecture Designer et
SAP Cloud Platform Big Data Services .
La combinaison de ces solutions vous permet de créer une structure de gestion globale des données avec les fonctions suivantes:
- suivi de l'origine des données
- suivre les changements dans les données et leur structure
- compréhension complète des métadonnées
- prendre en charge le niveau de sécurité requis
- surveillance centralisée
Mais aujourd'hui, nous allons parler du «cœur» de ce système - la plate-forme SAP HANA.
SAP a mené et continue de mener des recherches, investit des ressources et des fonds importants dans le développement du traitement des données. Le résultat est la plate-forme SAP HANA - l'appliance analytique haute performance. Notre entreprise a déjà accumulé de nombreuses années d'expérience unique dans le développement de technologies et de services pour les entreprises - et SAP l'a utilisée pour créer une plate-forme commerciale pour le traitement des données en temps réel. En conséquence, SAP HANA est apparu, qui est devenu la base et le cœur du développement et de la construction d'entreprises intelligentes d'un nouveau type (entreprise intelligente). La plateforme est utilisée pour développer des applications à la fois dans SAP et chez nos clients et partenaires.
SAP HANA est une solution polyvalente pour le stockage et le traitement des informations. L'une des fonctionnalités de SAP HANA est le moteur de calcul intégré, qui vous permet de transférer les opérations de planification du niveau de l'application au niveau de la base de données SAP HANA. En utilisant l'architecture moderne de la plate-forme matérielle, les calculs sont plus efficaces - toute l'avalanche de données traitées est divisée en un nombre strictement défini de threads, dont le nombre est égal au nombre total de cœurs de plate-forme. Cette approche permet l'utilisation la plus efficace de la puissance de traitement de chaque cœur de chaque processeur.
SAP HANA fournit également une technologie pour le stockage et le traitement des données en mémoire. SAP HANA en tant que base de données vous permet de stocker des données ligne par ligne et au format batch. La technologie de stockage et de traitement des données en mémoire permet un traitement rapide des transactions et, associée à la technologie d'analyse des données Calculation View, garantit des performances élevées lors de l'exécution de requêtes analytiques.
Les analystes de Forrester ont commencé à utiliser un nouveau concept - «base de données translationnelle». Par leur définition, une telle plate-forme "prend en charge de nombreux types d'utilisations, notamment les informations en temps réel, l'apprentissage automatique, l'analyse en ligne et le traitement des transactions extrêmes".
Un rapport récent de Forrester déclare ce qui
suit : «SAP HANA est une plate-forme en mémoire partagée (aucune utilisation partagée des ressources). C'est la base de la plate-forme SAP pour les transactions et l'analyse de données, elle prend en charge de nombreux scénarios d'application: applications de traitement de données en temps réel, analyses, applications de traduction et systèmes d'analyse approfondis et avancés. Les entreprises utilisent la plate-forme pour organiser des data marts en mémoire, pour travailler avec le stockage de données en temps réel de SAP Business Warehouse, ainsi que pour travailler avec SAP S / 4HANA et SAP Business Suite. »
Les plates-formes de traduction sont adaptées pour prendre en charge des applications et des services en temps réel: pour échanger des stocks, détecter la fraude, lutter contre le terrorisme, surveiller la santé des patients, analyser les données de divers capteurs, surveiller les tremblements de terre, et bien plus encore. À l'aide d'une plateforme de traduction, les applications peuvent échanger des données en temps réel, assurer la cohérence et l'exactitude des informations stockées dans l'entreprise.
Un autre domaine d'application pour SAP HANA est la prise en charge de l'apprentissage automatique, qui vous permet d'appliquer des modèles analytiques complexes aux données pour prédire avec plus de précision les opérations, les processus métier, le comportement des clients, etc.
Comment SAP HANA prend-il en charge cette fonctionnalité?
Commençons par le service de base de données. Si nous considérons HANA en termes d'architecture et de technologie, il y a deux façons de stocker des données - ligne par ligne et ligne par ligne.
Le stockage en ligne des données dans une table permet un enregistrement des données à grande vitesse. Si vous souhaitez ajouter une nouvelle ligne au tableau, il vous suffit de trouver de l'espace libre en mémoire pour cette ligne et d'y écrire de nouvelles données. Cependant, le stockage ligne par ligne pose un problème avec l'analyse des données: vous devez utiliser l'indexation ou une représentation matérialisée des données sous une forme pratique pour l'analyse. Dans le même temps, l'indexation entraîne des retards en raison du temps supplémentaire nécessaire pour reconstruire l'index, matérialiser les données dans un format différent lors de l'insertion de la ligne.
Si les données sont stockées unité par unité, puis pour ajouter une nouvelle ligne, il est nécessaire de passer du temps à trier les valeurs de ligne en colonnes, puis d'attendre que les données soient publiées à différents endroits en mémoire. Tout cela entraîne de mauvaises performances lors de l'enregistrement des données.
La base de données avec stockage en masse vous permet de traiter les demandes beaucoup plus rapidement, car dans ce cas, les données des colonnes demandées sont compactes et compressées en mémoire. C'est-à -dire lors de l'interrogation, il n'est pas nécessaire d'analyser la table entière - il suffit de regarder uniquement les colonnes utilisées dans la requête. Une telle base de données est optimisée pour la lecture, et le stockage de masse d'informations permet d'organiser les données en RAM d'une certaine manière, en utilisant le regroupement. Avec cette approche, il est possible d'utiliser diverses techniques de compression avec une plus grande efficacité, ce qui conduit à une compression multiple des informations source.
Pour résoudre ce problème, l'approche des tables unifiées a été développée, qui fournit une vitesse élevée de lecture et d'écriture des données dans la table de stockage. Ce mécanisme vous permet d'effectuer rapidement des transactions (c'est-à -dire d'enregistrer de nouvelles lignes), d'analyser les données à grande vitesse en raison du stockage en bloc sous forme compressée, du traitement parallèle des données et également de stocker toutes les données dans une mémoire à accès aléatoire (en mémoire).
Lors de l'enregistrement, aucune modification n'est immédiatement apportée à l'emplacement de stockage principal des tables. Au lieu de cela, toutes les modifications sont enregistrées dans une structure de données distincte - le stockage delta (dans l'image L1-delta). Ici, les données sont stockées dans un format optimisé pour l'enregistrement. Lorsqu'il est nécessaire de transférer des modifications du stockage delta, un processus spécial de fusion Delta est lancé - la fusion delta. Tout d'abord, les données de L1-delta sont converties dans un format de présentation en L2-delta, puis combinées avec le magasin de données principal (magasin principal). Et pour le mécanisme de lecture des données, les trois domaines de stockage d'informations (L1-delta, L2-delta et magasin principal) fournissent des données sous une forme intégrale. Grâce à ce processus, il s'avère fournir un enregistrement et une analyse des données à grande vitesse.
L'un des avantages importants de SAP HANA est que tous les calculs de données agrégées sont effectués directement lors de la formation d'une requête analytique et sont immédiatement affichés en conséquence. La possibilité de stocker des données détaillées ou sources dans la RAM (plutôt que des valeurs agrégées) vous permet d'abandonner le calcul et le stockage préliminaires des tableaux agrégés, qui font partie intégrante des systèmes analytiques classiques.
SAP HANA prend également en charge divers langages de programmation internes: R pour créer des modèles prédictifs, SQL Script pour écrire la logique de calcul. Au niveau du serveur d'applications XSA intégré à SAP HANA 2.0, vous pouvez effectuer le développement dans de nombreuses autres langues
en prenant en charge le concept Bring Your Own Language (et en utilisant Cloud Foundry) . À l'aide de ces langues, vous pouvez effectuer les calculs et prévisions nécessaires directement au niveau du stockage des données. Cela vous permet de vous débarrasser des étapes inutiles du transfert de grandes quantités de données et de donner le résultat du calcul fini au niveau de l'application.
Considérez maintenant les services de la plateforme SAP HANA.
Services de la plateforme SAP HANA
SAP HANA possède non seulement une base de données, mais également un ensemble complet de services pour le développement d'applications, des outils d'intégration et de nettoyage des données, des bibliothèques pour le traitement des données analytiques, y compris le Machine Learning, ainsi que la capacité de stocker et de traiter des types spéciaux de données. SAP HANA vous permet de télécharger des données à partir de diverses sources sans outils supplémentaires, de développer divers formulaires pour saisir, modifier et analyser des données. Des outils sont également disponibles pour le traitement de données intellectuelles complexes: transformation, transformation, recherche de modèles, recherche. Et, bien sûr, la plate-forme est ouverte à l'analyse visuelle des données grâce à divers outils.
Pour parler de toutes les fonctionnalités de SAP HANA, vous devrez écrire quelques articles supplémentaires. Beaucoup d'entre eux sont déjà décrits dans notre blog.
Voyons quelques-uns des services disponibles:
SAP HANA comprend un moteur de stockage et de traitement des géodonnées - des données qui décrivent la position, la forme et l'orientation des objets dans l'espace. SAP HANA prend en charge les types de données spatiales et leurs méthodes de traitement. Il existe une méthode spéciale pour traiter une telle structure - un graphique. SAP HANA dans ce cas offre la possibilité de traiter les données liées par un lien hypertexte et leurs relations. Le moteur de traitement des données dispose d'algorithmes intégrés pour trouver des voisinages, des chemins les plus courts, des composants fortement couplés, des correspondances de motifs et bien plus encore.
SAP HANA possède également des centaines d'algorithmes d'apprentissage automatique et de prévision pré-packagés avec des capacités telles que l'agrégation, le clustering, la classification, la régression, la distribution de probabilité, les séries chronologiques, etc. De plus, vous pouvez utiliser la bibliothèque TensorFlow et R.
SAP HANA a des capacités intégrées pour le traitement et l'analyse des fichiers texte, y compris diverses fonctions pour l'exploration de texte - par exemple, la logique floue, la recherche de synonymes, l'analyse sémantique, etc.
SAP HANA Streaming Analytics peut capturer, filtrer, analyser et impacter des millions d'événements par seconde en temps réel en stockant des données ou des résultats dans une base de données SAP HANA et en dirigeant des données moins critiques vers des solutions de stockage moins chères telles que Hadoop. SAP HANA Streaming Analytics est également intégré au système de messagerie d'Apache Kafka.
Matériaux et ressources utiles pour démarrer avec SAP HANA:
Une version d'essai gratuite de SAP HANA , édition express est disponible en téléchargement sur notre site officiel. De plus, au début du travail, vous pouvez étudier l'
ensemble des didacticiels avant de commencer Ă travailler avec SAP HANA:
- version de la machine virtuelle et des applications
Server + XSA pour SAP HANA et
instructions d'installation vidéo- L'ensemble de tutoriels a une large sélection. Par exemple, pour travailler avec des données spatiales: la
première et la
seconde