Découvrez les outils Big Data: prise en charge des ordinateurs portables Spark et Zeppelin dans IntelliJ IDEA

Nous avons de bonnes nouvelles. Nous sommes heureux d'annoncer la sortie de Big Data Tools , le nouveau plug-in IntelliJ IDEA qui s'intègre à Spark et prend en charge l'édition et le lancement des ordinateurs portables Zeppelin. Vous pouvez désormais créer, modifier et exécuter des blocs-notes Zeppelin directement à partir de l'IDE. Le plugin fournit une navigation intelligente, une auto-complétion, des inspections et des correctifs rapides, ainsi qu'une refactorisation de code à l'intérieur des ordinateurs portables.

Ce qui est déjà pris en charge

• Afficher, créer et supprimer des ordinateurs portables
• Aide à la rédaction du code Scala
• • Complétion automatique
  • Refactoring Renommer
  • Extrait d'une variable, méthode ou paramètre
  • Aller à la déclaration
  • Recherche d'utilisation
  
  
• Créer et supprimer des paragraphes
• Exécution de paragraphes
• Afficher la sortie du paragraphe
• Prise en charge du rendu de base

Jusqu'à présent, l'aide à l'écriture de code ne fonctionne que pour Scala. D'autres langues seront prises en charge ultérieurement. De plus, nous n'allons pas nous limiter à la prise en charge de Zeppelin et prévoyons d'ajouter plus de fonctionnalités qui seront utiles pour ceux qui travaillent avec le Big Data.

Si vous ne pouvez pas attendre de voir les Big Data Tools en action, regardez cette courte vidéo:


Mieux vaut essayer le plugin vous-même! Comment faire cela, lisez la suite.

Comment utiliser le plugin

• Assurez-vous que vous utilisez IntelliJ IDEA Ultimate 2019.2 (notez que le plugin ne fonctionne pas encore avec EAP 2019.3).
• Vérifiez si les plugins BashSupport, Python et Scala sont installés (de nouvelles versions fonctionneront). Jusqu'à présent, ils devront être installés manuellement - nous le corrigerons bientôt.
• Installez la dernière version du plugin Big Data Tools.
• Si tout fonctionne comme il se doit, après le redémarrage de l'EDI, la fenêtre Big Data Tools apparaîtra à droite. Ouvrez-le, cliquez sur l'icône «+» dans la barre d'outils de la fenêtre et sélectionnez Zeppelin.
• Dans la boîte de dialogue Connexion Zeppelin, spécifiez les paramètres de connexion de votre instance Zeppelin (hôte, port, informations d'identification, etc.). Pour tester la connexion, utilisez Tester la connexion.
• Après avoir configuré la configuration Zeppelin, vous verrez cette instance dans la fenêtre d'outils avec l'arborescence des ordinateurs portables. Vous pouvez maintenant gérer les ordinateurs portables et les ouvrir dans l'éditeur.

Et ensuite?

Tout d'abord, nous n'allons pas nous limiter à l'intégration avec Zeppelin et Spark, que nous allons bien sûr améliorer. Nous prévoyons de prendre en charge plus d'outils pour travailler avec les mégadonnées: ajouter l'intégration avec des systèmes de fichiers distribués tels que HDFS et S3, implémenter la visionneuse de fichiers Parquet intégrée et améliorer la prise en charge SQL.

Voici un exemple de plan pour notre travail dans un avenir prévisible:

• Novembre 2019: compatible IntelliJ IDEA Ultimate 2019.3 EAP.
• Novembre 2019: intégration avec S3 (explorateur).
• Décembre 2019: support SQL de base (surlignage, auto-complétion, formatage automatique, etc.).
• Janvier 2020: intégration avec HDFS (Explorer) et un outil de visualisation des fichiers Parquet.
• Février 2020: intégration de base avec Hadoop et Spark (interfaces utilisateur YARN, Spark, etc.).
• Printemps / été 2020: prise en charge de Python dans les ordinateurs portables Zeppelin (nous considérons également la compatibilité du plugin avec PyCharm Professional Edition, nous vous en informerons plus tard).

Ceci est un plan non concluant. Nous l'ajusterons en fonction de vos commentaires pour nous assurer que nous nous concentrons sur les bonnes choses. Veuillez nous signaler les erreurs et partager votre opinion sur les fonctionnalités manquantes et comment, à votre avis, telle ou telle fonction devrait fonctionner.

Quoi d'autre est important de savoir sur le nouveau plugin

Le plugin Big Data Tools est uniquement compatible avec IntelliJ IDEA Ultimate et n'est pas disponible dans Community Edition. Nous ne savons pas s'il sera dans Community Edition. Pour le moment, nous n'avons pas de tels plans.
Il en va de même pour les autres environnements de développement. Nous ne savons pas encore si le plugin sera compatible avec d'autres IDE. Pour le moment, nous n'avons qu'un plan préliminaire pour ajouter la compatibilité avec PyCharm Professional Edition, dès que le support Python est ajouté au plugin. Au fur et à mesure que le plugin se développera, nous serons en mesure de mieux comprendre où nous devons aller dans le contexte de son support dans d'autres IDE.

Je n'ai pas de licence pour IntelliJ IDEA Ultimate. Comment puis-je essayer le plugin?

• Si vous êtes activement impliqué dans un projet de Big Data open source, écrivez-nous.
• Si vous souhaitez écrire sur Big Data Tools, contactez-nous et nous vous fournirons une version d'essai étendue afin que vous puissiez évaluer le plugin.
• Si vous n'êtes ni un contributeur ni un blogueur, mais que vous êtes intéressé par les mégadonnées, contactez-nous pour une version d'essai étendue (par exemple, jusqu'à 3 mois). Cette offre est limitée.

Comment laisser un avis

Nous attendons avec impatience vos commentaires sur le plugin. Vous pouvez poser des questions dans les commentaires de cet article. Laissez des commentaires et suggestions dans notre tracker .
Vous pouvez également partager vos impressions sur le plugin en répondant à une courte enquête . Cela ne prend qu'une minute.

Une critique constructive nous aidera à rendre votre travail avec Spark, Zeppelin et Big Data aussi pratique et efficace que possible. Par conséquent, n'hésitez pas à partager vos commentaires et suggestions - c'est important pour nous.

PS Il est particulièrement agréable que la coïncidence du plug-in coïncide avec notre participation au Spark AI Summit. Donc, si vous vous retrouvez soudainement à cette conférence, assurez-vous de venir sur notre stand: vous pouvez regarder le plugin en action et partager vos impressions.