Temui Big Data Tools: Spark dan Zeppelin Notebook Support di IntelliJ IDEA

Kami punya kabar baik. Kami senang mengumumkan peluncuran Big Data Tools , plug-in IntelliJ IDEA baru yang terintegrasi dengan Spark dan mendukung pengeditan dan peluncuran laptop Zeppelin. Sekarang Anda dapat membuat, mengedit, dan menjalankan notebook Zeppelin langsung dari IDE. Plugin ini menyediakan navigasi yang cerdas, pelengkapan otomatis, inspeksi dan perbaikan cepat, serta refactoring kode di dalam laptop.

Apa yang sudah didukung

• Lihat, buat, dan hapus laptop
• Bantu Menulis Kode Skala
• • Penyelesaian otomatis
  • Refactoring Rename
  • Ekstrak variabel, metode, atau parameter
  • Pergi ke deklarasi
  • Pencarian Penggunaan
  
  
• Buat dan hapus paragraf
• Menjalankan paragraf
• Lihat output paragraf
• Dukungan rendering dasar

Sejauh ini, bantuan penulisan kode hanya berfungsi untuk Scala. Bahasa lain akan didukung nanti. Selain itu, kami tidak akan membatasi diri pada dukungan Zeppelin dan berencana untuk menambahkan lebih banyak fitur yang akan berguna bagi mereka yang bekerja dengan data besar.

Jika Anda tidak sabar untuk melihat Big Data Tools beraksi, lihat video singkat ini:


Lebih baik coba pluginnya sendiri! Cara melakukannya, baca terus.

Cara menggunakan plugin

• Pastikan Anda menggunakan IntelliJ IDEA Ultimate 2019.2 (perhatikan bahwa plugin belum berfungsi dengan EAP 2019.3).
• Periksa apakah plugin BashSupport, Python, dan Scala diinstal (versi baru akan berfungsi). Sejauh ini, mereka harus diinstal secara manual - kami akan segera memperbaikinya.
• Instal build plugin Big Data Tools terbaru.
• Jika semuanya berjalan sebagaimana mestinya, setelah me-restart IDE, jendela Big Data Tools akan muncul di sebelah kanan. Buka, klik ikon "+" pada bilah alat di jendela dan pilih Zeppelin.
• Di kotak dialog Koneksi Zeppelin, tentukan pengaturan untuk menghubungkan instance Zeppelin Anda (host, port, kredensial, dll.). Untuk menguji koneksi, gunakan Uji Koneksi.
• Setelah mengkonfigurasi konfigurasi Zeppelin, Anda akan melihat contoh ini di jendela alat bersama dengan pohon laptop. Sekarang Anda dapat mengelola laptop dan membukanya di editor.

Apa selanjutnya

Pertama-tama, kita tidak akan membatasi diri pada integrasi dengan Zeppelin dan Spark, yang tentu saja akan kita tingkatkan. Kami berencana untuk mendukung lebih banyak alat untuk bekerja dengan data besar: menambahkan integrasi dengan sistem file terdistribusi seperti HDFS dan S3, mengimplementasikan penampil file Parket terintegrasi dan meningkatkan dukungan SQL.

Berikut ini adalah contoh rencana untuk pekerjaan kami di masa mendatang:

• November 2019: IntelliJ IDEA Ultimate 2019.3 EAP kompatibel.
• November 2019: integrasi dengan S3 (penjelajah).
• Desember 2019: dukungan SQL dasar (penyorotan, pelengkapan otomatis, pemformatan otomatis, dll.).
• Januari 2020: integrasi dengan HDFS (Explorer) dan alat untuk melihat file Parket.
• Februari 2020: integrasi dasar dengan Hadoop dan Spark (antarmuka pengguna BENANG, Spark, dll.).
• Spring / Summer 2020: Dukungan Python di laptop Zeppelin (kami juga mempertimbangkan kompatibilitas plugin dengan PyCharm Professional Edition, kami akan menginformasikannya nanti).

Ini adalah paket yang tidak meyakinkan. Kami akan menyesuaikannya berdasarkan umpan balik Anda untuk memastikan bahwa kami fokus pada hal-hal yang benar. Beri tahu kami tentang kesalahan dan bagikan pendapat Anda tentang fitur apa yang hilang dan bagaimana, menurut Anda, fungsi ini atau itu seharusnya berfungsi.

Apa lagi yang penting untuk diketahui tentang plugin baru

Plugin Big Data Tools hanya kompatibel dengan IntelliJ IDEA Ultimate dan tidak tersedia dalam Edisi Komunitas. Kami tidak tahu apakah ia akan masuk dalam Edisi Komunitas. Saat ini, kami tidak memiliki rencana seperti itu.
Hal yang sama berlaku untuk lingkungan pengembangan lainnya. Kami belum tahu apakah plugin tersebut akan kompatibel dengan IDE lain. Saat ini, kami hanya memiliki rencana awal untuk menambahkan kompatibilitas dengan PyCharm Professional Edition, segera setelah dukungan Python ditambahkan ke plugin. Ketika plugin berkembang, kita akan dapat lebih memahami di mana kita harus bergerak dalam konteks dukungannya di IDE lain.

Saya tidak memiliki lisensi untuk IntelliJ IDEA Ultimate. Bagaimana saya bisa mencoba plugin?

• Jika Anda terlibat aktif dalam proyek big data open source apa pun, tuliskan kepada kami.
• Jika Anda ingin menulis tentang Big Data Tools, hubungi kami dan kami akan memberi Anda versi uji coba yang diperpanjang sehingga Anda dapat mengevaluasi plugin.
• Jika Anda bukan pengendara atau blogger, tetapi tertarik pada data besar, hubungi kami untuk versi uji coba yang diperpanjang (misalnya, hingga 3 bulan). Penawaran ini terbatas.

Bagaimana cara meninggalkan ulasan?

Kami sangat menantikan tanggapan Anda tentang plugin ini. Anda dapat mengajukan pertanyaan di komentar ke pos ini. Tinggalkan komentar dan saran di pelacak kami .
Anda juga dapat membagikan kesan Anda tentang plugin dengan melewati survei singkat . Hanya butuh satu menit.

Kritik konstruktif akan membantu kami membuat pekerjaan Anda dengan Spark, Zeppelin, dan Big Data senyaman dan seefisien mungkin. Karena itu, jangan ragu untuk membagikan umpan balik dan saran Anda - ini penting bagi kami.

PS Sangat menyenangkan bahwa kebetulan plug-in bertepatan dengan partisipasi kami dalam Spark AI Summit. Jadi jika Anda tiba-tiba menemukan diri Anda di konferensi ini, pastikan untuk datang ke gerai kami: Anda dapat melihat plugin dalam aksi dan membagikan kesan Anda.