IBM étend Apache Spark pour les mainframes zSystems

IBM a déjà annoncé qu'Apache Spark pour Linux serait pris en charge par zSystems. Ce soutien sera fourni dans le cadre du projet d'analyse de l'ordinateur central. Grâce à cela, les experts de l'exploration de données pourront utiliser Apache Spark sur les mainframes zSystems puissants.

En outre, il a été déclaré qu'Apache Spark fonctionnera non seulement en tant que service sur la plate-forme Bluemix, mais que le système s'intégrera également à d'autres solutions cloud et analytiques, y compris la solution Cloudant NoSQL et la plateforme de stockage cloud SashDB. Les développeurs utilisant Bluemix pourront intégrer leurs projets avec des solutions analytiques et des SGBD d'IBM.

IBM a maintenant rempli la plupart de ses promesses concernant Apache Spark. Tout d'abord, la société a facilité et accéléré l'accès des organisations aux capacités d'analyse des données à l'aide des mainframes zSystems. Cela crée de nouvelles voies pour les scientifiques et les développeurs de données.

La plateforme IBMz / OS pour ApacheSpark permet au framework open source Spark de fonctionner de manière native sur z / OS. Et cela permet à son tour d'étudier les données reçues en temps réel "sur le terrain", c'est-à-dire sans avoir à extraire, convertir et télécharger (ETL) les informations source. Par exemple, les représentants commerciaux peuvent analyser les données de l'entreprise (ventes, tendances du marché, etc.), en modifiant et en adaptant leur travail à la volée aux besoins du marché.

Les scientifiques peuvent travailler avec des données au cours de n'importe quelle expérience, en recevant des rapports détaillés sur l'avancement de ces travaux en temps réel. Autrement dit, il n'y a pratiquement aucun délai entre la réception d'informations et leur analyse avec la publication des données traitées.

Maintenant, zSystems travaille dans de nombreux domaines, notamment la science, la banque, le transport et les assurances. Le mainframe et son logiciel analysent instantanément les transactions et les données, construisant simultanément un modèle prédictif dans le cadre de l'opération en cours. La combinaison de Spark et de zSystems permet d'économiser du temps, des efforts et de l'argent. Étant donné que Spark prend en charge l'apprentissage automatique, la reconnaissance du langage naturel et la technologie de traitement d'image, ainsi que de nombreuses autres fonctionnalités, IBM considère Spark comme un environnement de données complet. Par exemple, à l'aide du service IBM Datacap, qui fait partie d'Insight Cloud Services, un client peut automatiquement classer et reconnaître le contenu d'un document, y compris son format et sa structure, son texte et ses informations numériques.



La nouvelle plateforme présente d'autres avantages:

• : , Scala, Python, RandSQL .
• : , , IMS, VSAM, DB2 z/OS, PDSE SMF Apache Spark API.
• In-place : Apache Spark , . , .
• Opensource: Apache Spark open-source, .
• , IBM . Zementis ( ), Rocket Software ( ) Elite Analythics ( , zSystems).
• Zementis , SPSS, R, Python, SAS open-source . z/OS. Zementis IMS, DB2 z/OS VSAM.
• c Rocket Software Data Virtualization Service Rocket Service Spark z Systems. . , R z/OS.
• Elite Analythics zSystems. real-time Zementis SPSS, , ApacheSpark z/OS.

En général, z / OSPlatform pour Apache Spark permet aux spécialistes du traitement des données et aux développeurs d'utiliser leurs propres formats et outils pour collecter et analyser les informations. Si nécessaire, l'outil fourni peut être personnalisé.

Le projet dispose désormais d'un écosystème assez développé. D'une manière ou d'une autre, l'activité de 3 500 chercheurs et développeurs IBM qui créent leurs propres projets sur ce framework est en quelque sorte liée à la plateforme. Les spécialistes peuvent publier leurs meilleures pratiques sur GitHub .

La plate-forme IBMz / OS pour Apache Spark est désormais disponible au téléchargement .

Source: https://habr.com/ru/post/fr395307/