IBM amplia os mainframes do Apache Spark for zSystems

A IBM já anunciou que o Apache Spark para Linux será suportado pelo zSystems. Esse suporte será fornecido como parte do projeto de análise de mainframe. Graças a isso, os especialistas em mineração de dados poderão usar o Apache Spark em poderosos mainframes do zSystems.

Além disso, foi declarado que o Apache Spark funcionará não apenas como um serviço na plataforma Bluemix, mas o sistema também se integrará a outras soluções de nuvem e analíticas, incluindo a solução Cloudant NoSQL e a plataforma de armazenamento em nuvem SashDB. Os desenvolvedores que usam o Bluemix poderão integrar seus projetos com soluções analíticas e DBMS da IBM.

A IBM agora cumpriu a maioria de suas promessas em relação ao Apache Spark. Primeiro, a corporação tornou mais fácil e rápido para as organizações acessar os recursos de análise de dados usando os mainframes do zSystems. Isso cria novos caminhos para cientistas e desenvolvedores de dados.

A plataforma IBMz / OS para ApacheSpark permite que a estrutura Spark de código aberto funcione nativamente no z / OS. E isso, por sua vez, oferece a oportunidade de estudar os dados recebidos em tempo real "no campo", ou seja, sem a necessidade de extrair, converter e baixar (ETL) as informações de origem. Por exemplo, representantes de negócios podem analisar dados corporativos (vendas, tendências de mercado etc.), alterando e ajustando seu trabalho rapidamente às necessidades do mercado.

Os cientistas podem trabalhar com dados durante qualquer experimento, recebendo relatórios detalhados sobre o andamento desse trabalho em tempo real. Ou seja, praticamente não há atraso entre o recebimento das informações e sua análise com a emissão dos dados processados.

Agora, o zSystems trabalha em muitas áreas, incluindo ciência, bancos, transporte, negócios de seguros. O mainframe e seu software analisam transações e dados instantaneamente, construindo simultaneamente um modelo preditivo dentro da estrutura da operação atual. A combinação do Spark e do zSystems ajuda a economizar tempo, esforço e dinheiro. Como o Spark suporta aprendizado de máquina, reconhecimento de idioma natural e tecnologia de processamento de imagem, além de oferecer uma série de outros recursos, a IBM vê o Spark como um ambiente de dados completo. Por exemplo, usando o serviço IBM Datacap, que faz parte do Insight Cloud Services, um cliente pode classificar e reconhecer automaticamente o conteúdo de um documento, incluindo seu formato e estrutura, texto e informações numéricas.



Existem outras vantagens da nova plataforma:

• : , Scala, Python, RandSQL .
• : , , IMS, VSAM, DB2 z/OS, PDSE SMF Apache Spark API.
• In-place : Apache Spark , . , .
• Opensource: Apache Spark open-source, .
• , IBM . Zementis ( ), Rocket Software ( ) Elite Analythics ( , zSystems).
• Zementis , SPSS, R, Python, SAS open-source . z/OS. Zementis IMS, DB2 z/OS VSAM.
• c Rocket Software Data Virtualization Service Rocket Service Spark z Systems. . , R z/OS.
• Elite Analythics zSystems. real-time Zementis SPSS, , ApacheSpark z/OS.

Em geral, o z / OSPlatform for Apache Spark permite que especialistas e desenvolvedores de processamento de dados usem seus próprios formatos e ferramentas para coletar e analisar informações. Se necessário, a ferramenta fornecida pode ser personalizada.

O projeto agora tem um ecossistema bastante desenvolvido. De uma forma ou de outra, a atividade de 3.500 pesquisadores e desenvolvedores da IBM que criam seus próprios projetos nessa estrutura está de alguma forma conectada à plataforma. Os especialistas podem postar suas melhores práticas no GitHub .

A plataforma IBMz / OS para Apache Spark agora está disponível para download .

Source: https://habr.com/ru/post/pt395307/