Conheça o Big Data Tools: suporte a notebook Spark e Zeppelin no IntelliJ IDEA

Temos ótimas notícias. Temos o prazer de anunciar o lançamento do Big Data Tools , o novo plug-in IntelliJ IDEA que se integra ao Spark e suporta a edição e o lançamento de laptops Zeppelin. Agora você pode criar, editar e executar notebooks Zeppelin diretamente do IDE. O plug-in fornece navegação inteligente, preenchimento automático, inspeções e correções rápidas, além de refatoração de código nos laptops.

O que já é suportado

• Ver, criar e excluir laptops
• Ajuda para escrever código Scala
• • Conclusão automática
  • Renomeando a refatoração
  • Extrato de uma variável, método ou parâmetro
  • Ir para declaração
  • Pesquisa de uso
  
  
• Criar e excluir parágrafos
• Executando parágrafos
• Exibir saída de parágrafo
• Suporte básico de renderização

Até agora, a ajuda para escrever código funciona apenas para o Scala. Outros idiomas serão suportados mais tarde. Além disso, não vamos nos limitar ao suporte ao Zeppelin e planejamos adicionar mais recursos que serão úteis para quem trabalha com big data.

Se você não pode esperar para ver o Big Data Tools em ação, confira este pequeno vídeo:


Melhor tentar o plugin você mesmo! Como fazer isso, continue a ler.

Como usar o plugin

• Verifique se você está usando o IntelliJ IDEA Ultimate 2019.2 (observe que o plug-in ainda não funciona com o EAP 2019.3).
• Verifique se os plugins BashSupport, Python e Scala estão instalados (versões novas funcionarão). Até agora, eles terão que ser instalados manualmente - em breve iremos corrigi-lo.
• Instale a versão mais recente do plug-in do Big Data Tools.
• Se tudo funcionar como deveria, após reiniciar o IDE, a janela Big Data Tools aparecerá à direita. Abra-o, clique no ícone “+” na barra de ferramentas da janela e selecione Zeppelin.
• Na caixa de diálogo Conexão do Zeppelin, especifique as configurações para conectar sua instância do Zeppelin (host, porta, credenciais etc.). Para testar a conexão, use Testar conexão.
• Depois de definir a configuração do Zeppelin, você verá esta instância na janela da ferramenta junto com a árvore do laptop. Agora você pode gerenciar laptops e abri-los no editor.

O que vem a seguir?

Antes de tudo, não vamos nos limitar à integração com o Zeppelin e Spark, o que, é claro, melhoraremos. Planejamos oferecer suporte a mais ferramentas para trabalhar com big data: adicionar integração a sistemas de arquivos distribuídos, como HDFS e S3, implementar o visualizador de arquivos Parquet integrado e melhorar o suporte a SQL.

Aqui está um exemplo de plano para o nosso trabalho no futuro próximo:

• Novembro de 2019: compatível com IntelliJ IDEA Ultimate 2019.3 EAP.
• Novembro de 2019: integração com o S3 (explorer).
• Dezembro de 2019: suporte básico a SQL (realce, preenchimento automático, formatação automática etc.).
• Janeiro de 2020: integração com o HDFS (Explorer) e uma ferramenta para visualizar arquivos Parquet.
• Fevereiro de 2020: integração básica com o Hadoop e Spark (interfaces de usuário YARN, Spark, etc.).
• Primavera / Verão 2020: Suporte ao Python em laptops Zeppelin (também consideramos a compatibilidade do plug-in com o PyCharm Professional Edition, informaremos sobre isso mais tarde).

Este é um plano inconclusivo. Vamos ajustá-lo com base nos seus comentários para garantir que estamos focados nas coisas certas. Conte-nos sobre erros e compartilhe sua opinião sobre quais recursos estão faltando e como, na sua opinião, essa ou aquela função deve funcionar.

O que mais é importante saber sobre o novo plugin

O plug-in Big Data Tools é compatível apenas com o IntelliJ IDEA Ultimate e não está disponível no Community Edition. Não sabemos se ele estará na Community Edition. No momento, não temos tais planos.
O mesmo vale para outros ambientes de desenvolvimento. Ainda não sabemos se o plugin será compatível com outros IDEs. No momento, temos apenas um plano preliminar para adicionar compatibilidade com o PyCharm Professional Edition, assim que o suporte ao Python for adicionado ao plug-in. À medida que o plug-in se desenvolve, seremos capazes de entender melhor para onde devemos nos mover no contexto de seu suporte em outros IDEs.

Não tenho uma licença para o IntelliJ IDEA Ultimate. Como posso experimentar o plugin?

• Se você estiver envolvido ativamente em qualquer projeto de big data de código aberto, escreva-nos.
• Se você deseja escrever sobre o Big Data Tools, entre em contato e forneceremos uma versão de avaliação estendida para que você possa avaliar o plug-in.
• Se você não é desenvolvedor ou blogueiro, mas está interessado em big data, entre em contato conosco para obter uma versão de avaliação estendida (por exemplo, até 3 meses). Esta oferta é limitada.

Como deixar um comentário

Estamos realmente ansiosos pelo seu feedback sobre o plugin. Você pode fazer qualquer pergunta nos comentários deste post. Deixe comentários e sugestões em nosso rastreador .
Você também pode compartilhar suas impressões sobre o plug-in passando uma pequena pesquisa . Leva apenas um minuto.

Críticas construtivas nos ajudarão a tornar seu trabalho com Spark, Zeppelin e Big Data o mais conveniente e eficiente possível. Portanto, não hesite em compartilhar seus comentários e sugestões - isso é importante para nós.

PS É especialmente bom que a coincidência do plug-in tenha coincidido com a nossa participação no Spark AI Summit. Portanto, se você se encontrar de repente nesta conferência, não deixe de ir ao nosso estande: você pode olhar o plug-in em ação e compartilhar suas impressões.