IBM extiende Apache Spark para mainframes zSystems

IBM ya ha anunciado que Apache Spark para Linux será compatible con zSystems. Dicho soporte se proporcionará como parte del proyecto de análisis de mainframe. Gracias a esto, los expertos en minería de datos podrán usar Apache Spark en potentes mainframes de zSystems.

Además, se indicó que Apache Spark funcionará no solo como un servicio en la plataforma Bluemix, sino que el sistema también se integrará con otras soluciones en la nube y analíticas, incluida la solución Cloudant NoSQL y la plataforma de almacenamiento en la nube SashDB. Los desarrolladores que utilizan Bluemix podrán integrar sus proyectos con soluciones analíticas y DBMS de IBM.

IBM ha cumplido la mayoría de sus promesas con respecto a Apache Spark. Primero, la corporación facilitó y agilizó el acceso de las organizaciones a las capacidades de análisis de datos utilizando mainframes de zSystems. Esto crea nuevos caminos para los científicos y desarrolladores de datos.

La plataforma IBMz / OS para ApacheSpark permite que el framework Spark de código abierto funcione de forma nativa en z / OS. Y esto a su vez brinda la oportunidad de estudiar los datos recibidos en tiempo real "en el campo", es decir, sin la necesidad de extraer, convertir y descargar (ETL) la información de origen. Por ejemplo, los representantes comerciales pueden analizar datos corporativos (ventas, tendencias del mercado, etc.), cambiando y ajustando su trabajo sobre la marcha a las necesidades del mercado.

Los científicos pueden trabajar con datos durante cualquier experimento, recibiendo informes detallados sobre el progreso de dicho trabajo en tiempo real. Es decir, prácticamente no hay demora entre la recepción de información y su análisis con la emisión de datos procesados.

Ahora zSystems trabaja en muchas áreas, incluyendo ciencia, banca, transporte, negocios de seguros. El mainframe y su software analizan las transacciones y los datos al instante, simultáneamente construyendo un modelo predictivo dentro del marco de la operación actual. La combinación de Spark y zSystems ayuda a ahorrar tiempo, esfuerzo y dinero. Dado que Spark admite el aprendizaje automático, el reconocimiento del lenguaje natural y la tecnología de procesamiento de imágenes, además de ofrecer una gran cantidad de otras características, IBM ve a Spark como un entorno de datos completo. Por ejemplo, utilizando el servicio IBM Datacap, que forma parte de Insight Cloud Services, un cliente puede clasificar y reconocer automáticamente el contenido de un documento, incluido su formato y estructura, texto e información numérica.



Hay otras ventajas de la nueva plataforma:

• : , Scala, Python, RandSQL .
• : , , IMS, VSAM, DB2 z/OS, PDSE SMF Apache Spark API.
• In-place : Apache Spark , . , .
• Opensource: Apache Spark open-source, .
• , IBM . Zementis ( ), Rocket Software ( ) Elite Analythics ( , zSystems).
• Zementis , SPSS, R, Python, SAS open-source . z/OS. Zementis IMS, DB2 z/OS VSAM.
• c Rocket Software Data Virtualization Service Rocket Service Spark z Systems. . , R z/OS.
• Elite Analythics zSystems. real-time Zementis SPSS, , ApacheSpark z/OS.

En general, z / OSPlatform para Apache Spark permite a los especialistas y desarrolladores de procesamiento de datos utilizar sus propios formatos y herramientas para recopilar y analizar información. Si es necesario, la herramienta proporcionada se puede personalizar.

El proyecto ahora tiene un ecosistema bastante desarrollado. De una forma u otra, la actividad de 3.500 investigadores y desarrolladores de IBM que crean sus propios proyectos en este marco está relacionada de alguna manera con la plataforma. Los especialistas pueden publicar sus mejores prácticas en GitHub .

La plataforma IBMz / OS para Apache Spark ya está disponible para descargar .

Source: https://habr.com/ru/post/es395307/