Lernen Sie Big Data Tools kennen: Spark- und Zeppelin-Notebook-Unterstützung in IntelliJ IDEA

Wir haben tolle Neuigkeiten. Wir freuen uns, die Veröffentlichung von Big Data Tools bekannt zu geben , dem neuen IntelliJ IDEA-Plug-In, das in Spark integriert ist und das Bearbeiten und Starten von Zeppelin-Laptops unterstützt. Jetzt können Sie Zeppelin-Notizbücher direkt in der IDE erstellen, bearbeiten und ausführen. Das Plugin bietet intelligente Navigation, automatische Vervollständigung, Inspektionen und schnelle Korrekturen sowie Code-Refactoring in Laptops.

Was wird bereits unterstützt

• Anzeigen, Erstellen und Löschen von Laptops
• Hilfe beim Schreiben von Scala-Code
• • Automatische Vervollständigung
  • Refactoring Umbenennen
  • Auszug aus einer Variablen, Methode oder einem Parameter
  • Zur Erklärung gehen
  • Nutzungssuche
  
  
• Absätze erstellen und löschen
• Absätze ausführen
• Absatzausgabe anzeigen
• Grundlegende Rendering-Unterstützung

Bisher funktioniert die Hilfe beim Schreiben von Code nur für Scala. Andere Sprachen werden später unterstützt. Darüber hinaus werden wir uns nicht auf die Zeppelin-Unterstützung beschränken und planen, weitere Funktionen hinzuzufügen, die für diejenigen nützlich sind, die mit Big Data arbeiten.

Wenn Sie es kaum erwarten können, Big Data Tools in Aktion zu sehen, sehen Sie sich dieses kurze Video an:


Probieren Sie das Plugin besser selbst aus! Wie das geht, lesen Sie weiter.

Wie benutzt man das Plugin?

• Stellen Sie sicher, dass Sie IntelliJ IDEA Ultimate 2019.2 verwenden (beachten Sie, dass das Plugin noch nicht mit EAP 2019.3 funktioniert).
• Überprüfen Sie, ob BashSupport-, Python- und Scala-Plugins installiert sind (neue Versionen funktionieren). Bisher müssen sie manuell installiert werden - wir werden es bald beheben.
• Installieren Sie das neueste Plugin für Big Data Tools.
• Wenn nach dem Neustart der IDE alles ordnungsgemäß funktioniert, wird rechts das Fenster Big Data Tools angezeigt. Öffnen Sie es, klicken Sie auf das Symbol „+“ in der Symbolleiste des Fensters und wählen Sie Zeppelin.
• Geben Sie im Dialogfeld Zeppelinverbindung die Einstellungen für die Verbindung Ihrer Zeppelininstanz an (Host, Port, Anmeldeinformationen usw.). Verwenden Sie zum Testen der Verbindung die Option Verbindung testen.
• Nach dem Konfigurieren der Zeppelin-Konfiguration wird diese Instanz im Tool-Fenster zusammen mit dem Laptop-Baum angezeigt. Jetzt können Sie Laptops verwalten und im Editor öffnen.

Was weiter?

Zunächst einmal beschränken wir uns nicht auf die Integration mit Zeppelin und Spark, die wir natürlich verbessern werden. Wir planen, weitere Tools für die Arbeit mit Big Data zu unterstützen: Integration in verteilte Dateisysteme wie HDFS und S3 hinzufügen, den integrierten Parkett-Datei-Viewer implementieren und die SQL-Unterstützung verbessern.

Hier ist ein Beispielplan für unsere Arbeit in absehbarer Zeit:

• November 2019: IntelliJ IDEA Ultimate 2019.3 EAP-kompatibel.
• November 2019: Integration mit S3 (Explorer).
• Dezember 2019: Grundlegende SQL-Unterstützung (Hervorheben, automatische Vervollständigung, automatische Formatierung usw.).
• Januar 2020: Integration mit HDFS (Explorer) und einem Tool zum Anzeigen von Parkettdateien.
• Februar 2020: Grundlegende Integration mit Hadoop und Spark (Benutzeroberflächen YARN, Spark usw.).
• Frühjahr / Sommer 2020: Python-Unterstützung in Zeppelin-Laptops (wir berücksichtigen auch die Kompatibilität des Plugins mit PyCharm Professional Edition, wir werden später darüber informieren).

Dies ist ein nicht schlüssiger Plan. Wir werden es basierend auf Ihrem Feedback anpassen, um sicherzustellen, dass wir uns auf die richtigen Dinge konzentrieren. Bitte teilen Sie uns Fehler mit und teilen Sie Ihre Meinung darüber mit, welche Funktionen fehlen und wie Ihrer Meinung nach diese oder jene Funktion funktionieren sollte.

Was ist sonst noch wichtig über das neue Plugin zu wissen

Das Big Data Tools-Plugin ist nur mit IntelliJ IDEA Ultimate kompatibel und nicht in der Community Edition verfügbar. Wir wissen nicht, ob er in der Community Edition sein wird. Im Moment haben wir solche Pläne nicht.
Gleiches gilt für andere Entwicklungsumgebungen. Wir wissen noch nicht, ob das Plugin mit anderen IDEs kompatibel sein wird. Derzeit haben wir nur einen vorläufigen Plan, um die Kompatibilität mit PyCharm Professional Edition zu verbessern, sobald dem Plugin Python-Unterstützung hinzugefügt wird. Während sich das Plugin entwickelt, können wir besser verstehen, wohin wir uns im Kontext seiner Unterstützung in anderen IDEs bewegen sollten.

Ich habe keine Lizenz für IntelliJ IDEA Ultimate. Wie kann ich das Plugin ausprobieren?

• Wenn Sie aktiv an einem Open Source Big Data-Projekt beteiligt sind, schreiben Sie uns.
• Wenn Sie über Big Data Tools schreiben möchten, kontaktieren Sie uns und wir werden Ihnen eine erweiterte Testversion zur Verfügung stellen, damit Sie das Plugin evaluieren können.
• Wenn Sie kein Committer oder Blogger sind, aber an Big Data interessiert sind, kontaktieren Sie uns für eine erweiterte Testversion (z. B. bis zu 3 Monate). Dieses Angebot ist begrenzt.

So hinterlassen Sie eine Bewertung

Wir freuen uns sehr auf Ihr Feedback zum Plugin. Sie können Fragen in den Kommentaren zu diesem Beitrag stellen. Hinterlassen Sie Kommentare und Vorschläge in unserem Tracker .
Sie können Ihre Eindrücke über das Plugin auch teilen, indem Sie eine kurze Umfrage bestehen . Es dauert nur eine Minute.

Konstruktive Kritik hilft uns, Ihre Arbeit mit Spark, Zeppelin und Big Data so bequem und effizient wie möglich zu gestalten. Zögern Sie daher nicht, Ihr Feedback und Ihre Vorschläge mitzuteilen - dies ist uns wichtig.

PS Es ist besonders schön, dass der Plug-In-Zufall mit unserer Teilnahme am Spark AI Summit zusammenfiel. Wenn Sie sich also plötzlich auf dieser Konferenz befinden, sollten Sie unbedingt an unseren Stand kommen: Sie können sich das Plugin in Aktion ansehen und Ihre Eindrücke teilen.