Conozca las herramientas de Big Data: compatibilidad con portátiles Spark y Zeppelin en IntelliJ IDEA

Tenemos buenas noticias Nos complace anunciar el lanzamiento de Big Data Tools , el nuevo complemento IntelliJ IDEA que se integra con Spark y admite la edición y el lanzamiento de laptops Zeppelin. Ahora puede crear, editar y ejecutar cuadernos Zeppelin directamente desde el IDE. El complemento proporciona navegación inteligente, autocompletado, inspecciones y soluciones rápidas, así como la refactorización de código dentro de las computadoras portátiles.

Lo que ya está soportado

• Ver, crear y eliminar computadoras portátiles
• Ayuda para escribir el código Scala
• • Autocompletar
  • Refactoring Rename
  • Extracto de una variable, método o parámetro.
  • Ir a declaracion
  • Búsqueda de uso
  
  
• Crear y eliminar párrafos
• Ejecutando párrafos
• Ver salida de párrafo
• Soporte de renderizado básico

Hasta ahora, la ayuda para escribir código solo funciona para Scala. Otros idiomas serán compatibles más adelante. Además, no nos limitaremos al soporte de Zeppelin y planearemos agregar más funciones que serán útiles para aquellos que trabajan con big data.

Si no puede esperar para ver Big Data Tools en acción, vea este breve video:


¡Mejor prueba el plugin tú mismo! Cómo hacer esto, sigue leyendo.

Cómo usar el complemento

• Asegúrese de estar utilizando IntelliJ IDEA Ultimate 2019.2 (tenga en cuenta que el complemento aún no funciona con EAP 2019.3).
• Compruebe si los complementos BashSupport, Python y Scala están instalados (las versiones nuevas funcionarán). Hasta ahora, deberán instalarse manualmente; lo arreglaremos pronto.
• Instale la última compilación del complemento Big Data Tools.
• Si todo funciona como debería, después de reiniciar el IDE, la ventana Herramientas de Big Data aparecerá a la derecha. Ábralo, haga clic en el icono "+" en la barra de herramientas en la ventana y seleccione Zeppelin.
• En el cuadro de diálogo Conexión de Zeppelin, especifique la configuración para conectar su instancia de Zeppelin (host, puerto, credenciales, etc.). Para probar la conexión, use Probar conexión.
• Después de configurar la configuración de Zeppelin, verá esta instancia en la ventana de herramientas junto con el árbol de la computadora portátil. Ahora puede administrar computadoras portátiles y abrirlas en el editor.

Que sigue

En primer lugar, no nos limitaremos a la integración con Zeppelin y Spark, lo que, por supuesto, mejoraremos. Planeamos admitir más herramientas para trabajar con big data: agregue integración con sistemas de archivos distribuidos como HDFS y S3, implemente el visor de archivos Parquet integrado y mejore el soporte de SQL.

Aquí hay un plan de ejemplo para nuestro trabajo en el futuro previsible:

• Noviembre de 2019: compatible con EAP IntelliJ IDEA Ultimate 2019.3.
• Noviembre de 2019: integración con S3 (explorador).
• Diciembre de 2019: soporte básico de SQL (resaltado, autocompletado, formateo automático, etc.).
• Enero de 2020: integración con HDFS (Explorer) y una herramienta para ver archivos de Parquet.
• Febrero de 2020: integración básica con Hadoop y Spark (interfaces de usuario YARN, Spark, etc.).
• Primavera / Verano 2020: compatibilidad con Python en computadoras portátiles Zeppelin (también consideramos la compatibilidad del complemento con PyCharm Professional Edition, informaremos sobre esto más adelante).

Este es un plan no concluyente. Lo ajustaremos en función de sus comentarios para asegurarnos de que estamos enfocados en las cosas correctas. Cuéntenos acerca de los errores y comparta su opinión sobre qué características faltan y cómo, en su opinión, esta o aquella función debería funcionar.

¿Qué más es importante saber sobre el nuevo complemento?

El complemento Big Data Tools solo es compatible con IntelliJ IDEA Ultimate y no está disponible en Community Edition. No sabemos si estará en Community Edition. Por el momento, no tenemos tales planes.
Lo mismo ocurre con otros entornos de desarrollo. Todavía no sabemos si el complemento será compatible con otros IDE. Por el momento, solo tenemos un plan preliminar para agregar compatibilidad con PyCharm Professional Edition, tan pronto como se agregue el soporte de Python al complemento. A medida que se desarrolle el complemento, podremos comprender mejor hacia dónde debemos movernos en el contexto de su soporte en otros IDE.

No tengo una licencia para IntelliJ IDEA Ultimate. ¿Cómo puedo probar el complemento?

• Si participa activamente en cualquier proyecto de Big Data de código abierto, escríbanos.
• Si desea escribir sobre Big Data Tools, contáctenos y le proporcionaremos una versión de prueba extendida para que pueda evaluar el complemento.
• Si no es un committer ni un blogger, pero está interesado en big data, contáctenos para una versión de prueba extendida (por ejemplo, hasta 3 meses). Esta oferta es limitada.

Cómo dejar una reseña

Realmente esperamos sus comentarios sobre el complemento. Puedes hacer cualquier pregunta en los comentarios de esta publicación. Deja comentarios y sugerencias en nuestro rastreador .
También puede compartir sus impresiones sobre el complemento pasando una breve encuesta . Solo toma un minuto.

Las críticas constructivas nos ayudarán a que su trabajo con Spark, Zeppelin y Big Data sea lo más conveniente y eficiente posible. Por lo tanto, no dude en compartir sus comentarios y sugerencias, esto es importante para nosotros.

PD: Es especialmente agradable que la coincidencia del complemento coincidiera con nuestra participación en Spark AI Summit. Entonces, si de repente te encuentras en esta conferencia, asegúrate de venir a nuestro stand: puedes ver el complemento en acción y compartir tus impresiones.