IBM erweitert Apache Spark für zSystems-Mainframes

IBM hat bereits angekündigt, dass Apache Spark für Linux von zSystems unterstützt wird. Diese Unterstützung wird im Rahmen des Mainframe-Analyseprojekts bereitgestellt. Dank dessen können Data Mining-Experten Apache Spark auf leistungsstarken zSystems-Mainframes verwenden.

Darüber hinaus wurde angegeben, dass Apache Spark nicht nur als Dienst auf der Bluemix-Plattform funktioniert, sondern das System auch in andere Cloud- und Analyselösungen integriert wird, einschließlich der Cloudant NoSQL-Lösung und der SashDB-Cloud-Speicherplattform. Entwickler, die Bluemix verwenden, können ihre Projekte in analytische Lösungen und DBMS von IBM integrieren.

IBM hat jetzt die meisten seiner Versprechen in Bezug auf Apache Spark erfüllt. Erstens machte das Unternehmen Unternehmen den Zugriff auf Datenanalysefunktionen mithilfe von zSystems-Mainframes einfacher und schneller. Dies schafft neue Wege für Datenwissenschaftler und Entwickler.

Mit der IBMz / OS-Plattform für ApacheSpark kann das Open-Source-Spark-Framework nativ unter z / OS ausgeführt werden. Dies bietet wiederum die Möglichkeit, die empfangenen Daten in Echtzeit „vor Ort“ zu untersuchen, dh ohne die Quellinformationen extrahieren, konvertieren und herunterladen (ETL) zu müssen. Zum Beispiel können Unternehmensvertreter Unternehmensdaten (Verkäufe, Markttrends usw.) analysieren und ihre Arbeit im laufenden Betrieb an die Bedürfnisse des Marktes anpassen.

Wissenschaftler können während jedes Experiments mit Daten arbeiten und erhalten in Echtzeit detaillierte Berichte über den Fortschritt solcher Arbeiten. Das heißt, es gibt praktisch keine Verzögerung zwischen dem Erhalt von Informationen und ihrer Analyse mit der Ausgabe verarbeiteter Daten.

Jetzt arbeitet zSystems in vielen Bereichen, einschließlich Wissenschaft, Bankwesen, Transportwesen und Versicherungsgeschäft. Der Mainframe und seine Software analysieren Transaktionen und Daten sofort und erstellen gleichzeitig ein Vorhersagemodell im Rahmen des aktuellen Vorgangs. Die Kombination von Spark und zSystems spart Zeit, Mühe und Geld. Da Spark maschinelles Lernen, Erkennung natürlicher Sprachen und Bildverarbeitungstechnologie unterstützt und eine Vielzahl weiterer Funktionen bietet, sieht IBM Spark als vollständige Datenumgebung. Mithilfe des IBM Datacap-Dienstes, der Teil von Insight Cloud Services ist, kann ein Client beispielsweise den Inhalt eines Dokuments einschließlich Format und Struktur, Text und numerischen Informationen automatisch klassifizieren und erkennen.



Die neue Plattform bietet noch weitere Vorteile:

• : , Scala, Python, RandSQL .
• : , , IMS, VSAM, DB2 z/OS, PDSE SMF Apache Spark API.
• In-place : Apache Spark , . , .
• Opensource: Apache Spark open-source, .
• , IBM . Zementis ( ), Rocket Software ( ) Elite Analythics ( , zSystems).
• Zementis , SPSS, R, Python, SAS open-source . z/OS. Zementis IMS, DB2 z/OS VSAM.
• c Rocket Software Data Virtualization Service Rocket Service Spark z Systems. . , R z/OS.
• Elite Analythics zSystems. real-time Zementis SPSS, , ApacheSpark z/OS.

Im Allgemeinen können Datenverarbeitungsspezialisten und -entwickler mit z / OSPlatform für Apache Spark ihre eigenen Formate und Tools zum Sammeln und Analysieren von Informationen verwenden. Bei Bedarf kann das mitgelieferte Tool angepasst werden.

Das Projekt hat jetzt ein ziemlich entwickeltes Ökosystem. Auf die eine oder andere Weise ist die Aktivität von 3.500 IBM Forschern und Entwicklern, die ihre eigenen Projekte auf diesem Framework erstellen, irgendwie mit der Plattform verbunden. Spezialisten können ihre Best Practices auf GitHub veröffentlichen .

Die IBMz / OS-Plattform für Apache Spark steht jetzt zum Download zur Verfügung .

Source: https://habr.com/ru/post/de395307/