IBM memperluas Apache Spark untuk mainframe zSystems

IBM telah mengumumkan bahwa Apache Spark untuk Linux akan didukung oleh zSystems. Dukungan tersebut akan diberikan sebagai bagian dari proyek analisis mainframe. Berkat ini, para ahli penambangan data akan dapat menggunakan Apache Spark pada mainframe zSystems yang kuat.

Selain itu, dinyatakan bahwa Apache Spark tidak hanya berfungsi sebagai layanan pada platform Bluemix, tetapi sistem juga akan berintegrasi dengan solusi cloud dan analitik lainnya, termasuk solusi Cloudant NoSQL dan platform penyimpanan cloud SashDB. Pengembang yang menggunakan Bluemix akan dapat mengintegrasikan proyek mereka dengan solusi analitis dan DBMS dari IBM.

IBM sekarang telah memenuhi sebagian besar janjinya tentang Apache Spark. Pertama, korporasi membuatnya lebih mudah dan lebih cepat bagi organisasi untuk mengakses kemampuan analisis data menggunakan mainframe zSystems. Ini menciptakan jalur baru untuk ilmuwan dan pengembang data.

Platform IBMz / OS untuk ApacheSpark memungkinkan kerangka kerja sumber terbuka Spark bekerja secara native pada z / OS. Dan ini pada gilirannya memberikan kesempatan untuk mempelajari data yang diterima secara real time "di lapangan", yaitu, tanpa perlu mengekstrak, mengonversi, dan mengunduh (ETL) informasi sumber. Misalnya, perwakilan bisnis dapat menganalisis data perusahaan (penjualan, tren pasar, dll.), Mengubah dan menyesuaikan pekerjaan mereka dengan cepat dengan kebutuhan pasar.

Para ilmuwan dapat bekerja dengan data selama percobaan apa pun, menerima laporan terperinci tentang kemajuan pekerjaan tersebut secara real time. Artinya, praktis tidak ada penundaan antara penerimaan informasi dan analisisnya dengan penerbitan data yang diproses.

Sekarang zSistem bekerja di banyak bidang, termasuk sains, perbankan, transportasi, bisnis asuransi. Mainframe dan perangkat lunaknya menganalisis transaksi dan data secara instan, secara bersamaan membangun model prediktif dalam kerangka operasi saat ini. Kombinasi Spark dan zSystems membantu menghemat waktu, tenaga, dan uang. Karena Spark mendukung pembelajaran mesin, pengenalan bahasa alami, dan teknologi pemrosesan gambar, serta menawarkan sejumlah besar fitur lainnya, IBM melihat Spark sebagai lingkungan data yang lengkap. Misalnya, menggunakan layanan IBM Datacap, yang merupakan bagian dari Layanan Cloud Insight, klien dapat secara otomatis mengklasifikasikan dan mengenali konten dokumen, termasuk format dan strukturnya, teks dan informasi numerik.



Ada keuntungan lain dari platform baru:

• : , Scala, Python, RandSQL .
• : , , IMS, VSAM, DB2 z/OS, PDSE SMF Apache Spark API.
• In-place : Apache Spark , . , .
• Opensource: Apache Spark open-source, .
• , IBM . Zementis ( ), Rocket Software ( ) Elite Analythics ( , zSystems).
• Zementis , SPSS, R, Python, SAS open-source . z/OS. Zementis IMS, DB2 z/OS VSAM.
• c Rocket Software Data Virtualization Service Rocket Service Spark z Systems. . , R z/OS.
• Elite Analythics zSystems. real-time Zementis SPSS, , ApacheSpark z/OS.

Secara umum, z / OSPlatform untuk Apache Spark memungkinkan spesialis dan pengembang pemrosesan data untuk menggunakan format dan alat mereka sendiri untuk mengumpulkan dan menganalisis informasi. Jika perlu, alat yang disediakan dapat disesuaikan.

Proyek ini sekarang memiliki ekosistem yang cukup berkembang. Dengan satu atau lain cara, aktivitas 3.500 peneliti dan pengembang IBM yang membuat proyek mereka sendiri dalam kerangka kerja ini entah bagaimana terhubung dengan platform. Spesialis dapat memposting praktik terbaik mereka di GitHub .

Platform IBMz / OS untuk Apache Spark sekarang tersedia untuk diunduh .

Source: https://habr.com/ru/post/id395307/