Wir setzen unsere Artikelserie über die SAP HANA Data Management Suite fort, eine Mischung aus lokalen und Cloud-Technologien, die vier Produktkomponenten umfasst: SAP Data Hub, SAP HANA, SAP Enterprise Architecture Designer und
Big Data Services der SAP Cloud Platform .
Durch die Kombination dieser Lösungen können Sie eine ganzheitliche Datenverwaltungsstruktur mit den folgenden Funktionen erstellen:
- Datenursprungsverfolgung
- Verfolgung von Änderungen an Daten und ihrer Struktur
- umfassendes Verständnis von Metadaten
- unterstützen das erforderliche Sicherheitsniveau
- zentrale Überwachung
Heute sprechen wir jedoch über den „Kern“ dieses Systems - die SAP-HANA-Plattform.
SAP hat Forschung betrieben und betreibt diese weiter, investiert große Ressourcen und Mittel in die Entwicklung der Datenverarbeitung. Das Ergebnis ist die SAP HANA-Plattform - die High-Performance Analytic Appliance. Unser Unternehmen verfügt bereits über langjährige Erfahrung in der Entwicklung von Technologien und Dienstleistungen für Unternehmen - und SAP hat damit eine Geschäftsplattform für die Echtzeit-Datenverarbeitung geschaffen. Als Ergebnis entstand SAP HANA, das zur Grundlage und zum Kern für die Entwicklung und den Aufbau intelligenter Unternehmen eines neuen Typs (intelligentes Unternehmen) wurde. Die Plattform wird verwendet, um Anwendungen sowohl innerhalb von SAP als auch bei unseren Kunden und Partnern zu entwickeln.
SAP HANA ist eine Mehrzwecklösung zum Speichern und Verarbeiten von Informationen. Eine der Funktionen von SAP HANA ist die integrierte Berechnungs-Engine, mit der Sie Planungsvorgänge von der Anwendungsebene auf die SAP HANA-Datenbankebene übertragen können. Unter Verwendung der modernen Architektur der Hardwareplattform sind Berechnungen effizienter - die gesamte "Lawine" verarbeiteter Daten wird in eine genau definierte Anzahl von Threads unterteilt, deren Anzahl der Gesamtzahl der Plattformkerne entspricht. Dieser Ansatz ermöglicht die effizienteste Nutzung der Verarbeitungsleistung jedes Kerns jedes Prozessors.
SAP HANA bietet auch Technologie zum Speichern und Verarbeiten von In-Memory-Daten. Mit SAP HANA als Datenbank können Sie Daten zeilenweise und im Stapelformat speichern. Die speicherinterne Datenspeicher- und -verarbeitungstechnologie ermöglicht eine schnelle Transaktionsverarbeitung und garantiert zusammen mit der Datenanalysetechnologie Calculation View eine hohe Leistung bei der Durchführung von analytischen Abfragen.
Forrester-Analysten verwendeten ein neues Konzept - die „Translationsdatenbank“. Laut ihrer Definition unterstützt eine solche Plattform "viele Arten von Anwendungen, einschließlich Echtzeitinformationen, maschinelles Lernen, Inline-Analyse und extreme Transaktionsverarbeitung".
In einem kürzlich veröffentlichten Forrester-Bericht heißt es: „SAP HANA ist eine In-Memory-Plattform, die nichts gemeinsam nutzt (keine gemeinsame Nutzung von Ressourcen). Dies ist die Grundlage der SAP-Plattform für Transaktionen und Datenanalysen. Sie unterstützt viele Anwendungsszenarien: Echtzeit-Datenverarbeitungsanwendungen, Analysen, Translationsanwendungen sowie umfassende und erweiterte Analysesysteme. Unternehmen nutzen die Plattform für die Organisation von In-Memory-Data-Marts, für die Arbeit mit der Echtzeit-Datenspeicherung von SAP Business Warehouse sowie für die Arbeit mit SAP S / 4HANA und SAP Business Suite. “
Translationale Plattformen eignen sich zur Unterstützung von Echtzeitanwendungen und -diensten: zum Handel mit Aktien, zur Aufdeckung von Betrug, zur Bekämpfung des Terrorismus, zur Überwachung der Patientengesundheit, zur Analyse von Daten verschiedener Sensoren, zur Überwachung von Erdbeben und vielem mehr. Mithilfe einer Übersetzungsplattform können Anwendungen Daten in Echtzeit austauschen und die Konsistenz und Genauigkeit der im Unternehmen gespeicherten Informationen sicherstellen.
Ein weiterer Anwendungsbereich für SAP HANA ist die Unterstützung des maschinellen Lernens, mit der Sie komplexe Analysemodelle auf Daten anwenden können, um Vorgänge, Geschäftsprozesse, Kundenverhalten usw. genauer vorherzusagen.
Wie unterstützt SAP HANA diese Funktionalität?
Beginnen wir mit dem Datenbankdienst. Wenn wir HANA in Bezug auf Architektur und Technologie betrachten, gibt es zwei Möglichkeiten, Daten zu speichern - Zeile für Zeile und Zeile für Zeile.
Die zeilenweise Speicherung von Daten in einer Tabelle ermöglicht eine Hochgeschwindigkeitsdatenaufzeichnung. Wenn Sie der Tabelle eine neue Zeile hinzufügen möchten, müssen Sie nur freien Speicherplatz für diese Zeile finden und dort neue Daten schreiben. Die zeilenweise Speicherung stellt jedoch ein Problem bei der Datenanalyse dar: Sie müssen die Indizierung oder eine materialisierte Darstellung der Daten in einer für die Analyse geeigneten Form verwenden. Gleichzeitig führt die Indizierung zu Verzögerungen, da zusätzliche Zeit für die Neuerstellung des Index erforderlich ist und beim Einfügen der Zeile Daten in einem anderen Format materialisiert werden.
Wenn die Daten Einheit für Einheit gespeichert werden, müssen Sie zum Hinzufügen einer neuen Zeile Zeit damit verbringen, die Zeilenwerte in Spalten zu sortieren, und dann warten, bis die Daten an verschiedenen Stellen im Speicher veröffentlicht werden. All dies führt zu einer schlechten Leistung während der Datenaufzeichnung.
Mit der Datenbank mit Massenspeicher können Sie Anforderungen viel schneller verarbeiten, da in diesem Fall die Daten aus den angeforderten Spalten kompakt und im Speicher komprimiert sind. Das heißt, Bei der Abfrage muss nicht die gesamte Tabelle gescannt werden. Sehen Sie sich nur die in der Abfrage verwendeten Spalten an. Eine solche Datenbank ist für das Lesen optimiert, und die Massenspeicherung von Informationen ermöglicht die Organisation von Daten im RAM auf bestimmte Weise mithilfe von Gruppierungen. Mit diesem Ansatz ist es möglich, verschiedene Komprimierungstechniken mit größerer Effizienz zu verwenden, was zu einer Mehrfachkomprimierung der Quellinformationen führt.
Um dieses Problem zu lösen, wurde der Unified Tables-Ansatz entwickelt, der eine hohe Geschwindigkeit beim Lesen und Schreiben von Daten in die Speichertabelle bietet. Mit diesem Mechanismus können Sie schnell Transaktionen ausführen (dh neue Zeilen aufzeichnen), Daten aufgrund der Massenspeicherung in komprimierter Form und paralleler Datenverarbeitung mit hoher Geschwindigkeit analysieren und alle Daten im Direktzugriffsspeicher (In-Memory) speichern.
Bei der Aufzeichnung werden Änderungen nicht sofort am Hauptspeicherort der Tabellen vorgenommen. Stattdessen werden alle Änderungen in einer separaten Datenstruktur aufgezeichnet - dem Delta-Speicher (im Bild L1-Delta). Hier werden die Daten in einem für die Aufzeichnung optimierten Format gespeichert. Wenn Änderungen aus dem Delta-Speicher übertragen werden müssen, wird ein spezieller Delta-Zusammenführungsprozess gestartet - die Delta-Zusammenführung. Zuerst werden die Daten aus L1-Delta in L2-Delta in ein Layoutformat konvertiert und dann mit dem Hauptdatenspeicher (Hauptspeicher) kombiniert. Für den Datenlesemechanismus liefern alle drei Bereiche der Informationsspeicherung (L1-Delta, L2-Delta und Hauptspeicher) Daten in integraler Form. Dank dieses Prozesses wird eine schnelle Datenaufzeichnung und -analyse ermöglicht.
Einer der wesentlichen Vorteile von SAP HANA besteht darin, dass alle Berechnungen aggregierter Daten direkt während der Erstellung einer analytischen Abfrage durchgeführt und sofort angezeigt werden. Durch die Möglichkeit, detaillierte Daten oder Quelldaten im RAM zu speichern (anstatt aggregierte Werte), können Sie auf die vorläufige Berechnung und Speicherung von aggregierten Tabellen verzichten, die ein wesentlicher Bestandteil klassischer Analysesysteme sind.
SAP HANA unterstützt auch verschiedene interne Programmiersprachen: R zum Erstellen von Vorhersagemodellen, SQL Script zum Schreiben von Berechnungslogik. Auf der in SAP HANA 2.0 eingebetteten XSA-Anwendungsserverebene können Sie die Entwicklung in vielen anderen Sprachen durchführen,
indem Sie das Bring Your Own Language-Konzept unterstützen (und Cloud Foundry verwenden) . Mit diesen Sprachen können Sie die erforderlichen Berechnungen und Prognosen direkt auf Datenspeicherebene durchführen. Auf diese Weise können Sie unnötige Phasen der Übertragung großer Datenmengen vermeiden und das fertige Berechnungsergebnis an die Anwendungsebene weitergeben.
Betrachten Sie nun die SAP-HANA-Plattformdienste.
SAP HANA Platform Services
SAP HANA verfügt nicht nur über eine Datenbank, sondern auch über eine ganze Reihe von Services für Tools zur Anwendungsentwicklung, Integration und Datenbereinigung, Bibliotheken für die analytische Datenverarbeitung, einschließlich maschinelles Lernen, sowie über die Möglichkeit, spezielle Datentypen zu speichern und zu verarbeiten. Mit SAP HANA können Sie Daten aus verschiedenen Quellen ohne zusätzliche Tools herunterladen und verschiedene Formulare für die Eingabe, Bearbeitung und Analyse von Daten entwickeln. Für die komplexe Verarbeitung intellektueller Daten stehen auch Tools zur Verfügung: Transformation, Transformation, Suche nach Mustern, Forschung. Und natürlich ist die Plattform offen für visuelle Datenanalysen mit verschiedenen Tools.
Um über alle Funktionen von SAP HANA zu sprechen, müssen Sie einige zusätzliche Artikel schreiben. Viele davon sind bereits in unserem Blog beschrieben.
Schauen wir uns einige der verfügbaren Dienste an:
SAP HANA enthält eine Engine zum Speichern und Verarbeiten von Geodaten - Daten, die die Position, Form und Ausrichtung von Objekten im Raum beschreiben. SAP HANA unterstützt räumliche Datentypen und deren Verarbeitungsmethoden. Es gibt eine spezielle Methode zur Verarbeitung einer solchen Struktur - einen Graphen. SAP HANA bietet in diesem Fall die Möglichkeit, verlinkte Daten und ihre Beziehungen zu verarbeiten. Die Datenverarbeitungs-Engine verfügt über integrierte Algorithmen zum Auffinden von Nachbarschaften, kürzesten Pfaden, stark gekoppelten Komponenten, Mustervergleich und vielem mehr.
SAP HANA verfügt außerdem über Hunderte von vorgefertigten Algorithmen für maschinelles Lernen und Prognosen mit Funktionen wie Aggregation, Clustering, Klassifizierung, Regression, Wahrscheinlichkeitsverteilung, Zeitreihen und mehr. Darüber hinaus können Sie die TensorFlow-Bibliothek und R verwenden.
SAP HANA verfügt über integrierte Funktionen zum Verarbeiten und Analysieren von Textdateien, einschließlich verschiedener Funktionen für das Text Mining - z. B. Fuzzy-Logik, Suche nach Synonymen, semantische Analyse usw.
SAP HANA Streaming Analytics kann Millionen von Ereignissen pro Sekunde in Echtzeit erfassen, filtern, analysieren und beeinflussen, indem Daten oder Ergebnisse in einer SAP HANA-Datenbank gespeichert und weniger kritische Daten an billigere Speicherlösungen wie Hadoop weitergeleitet werden. SAP HANA Streaming Analytics ist auch in das Messaging-System von Apache Kafka integriert.
Nützliche Materialien und Ressourcen für den Einstieg in SAP HANA:
Eine kostenlose Testversion von SAP HANA , Express Edition, steht auf unserer offiziellen Website zum Download zur Verfügung. Zu Beginn der Arbeit können Sie außerdem die
Tutorials lesen, bevor Sie mit der Arbeit mit SAP HANA beginnen:
- Version für virtuelle Maschinen und
Server + XSA-Anwendungen für SAP HANA und
Anweisungen zur Videoinstallation- Die Tutorials bieten eine große Auswahl. Zum Beispiel für die Arbeit mit Geodaten: die
erste und die
zweite