认识大数据工具:IntelliJ IDEA中的Spark和Zeppelin笔记本支持

我们有个好消息。 我们很高兴地宣布发布Big Data Tools ,这是一个新的IntelliJ IDEA插件,该插件与Spark集成并支持编辑和启动Zeppelin笔记本电脑。 现在,您可以直接从IDE创建,编辑和运行Zeppelin笔记本。 该插件提供了智能导航,自动完成,检查和快速修复,以及笔记本电脑内部的代码重构。

已经支持什么

  • 查看,创建和删除笔记本电脑
  • 帮助编写Scala代码
    • 自动完成
    • 重构重命名
    • 提取变量,方法或参数
    • 前往申报
    • 使用情况搜索

  • 创建和删除段落
  • 运行段落
  • 查看段落输出
  • 基本渲染支持

到目前为止,有关编写代码的帮助仅适用于Scala。 稍后将支持其他语言。 此外,我们不会局限于Zeppelin的支持,也不打算添加更多功能,这些功能将对处理大数据的人员有用。

如果您迫不及待想看到大数据工具的实际效果,请观看以下简短视频:


最好自己尝试使用该插件! 如何执行此操作,请继续阅读。

如何使用插件

  • 确保您使用的是IntelliJ IDEA Ultimate 2019.2(请注意,该插件尚不适用于EAP 2019.3)。
  • 检查是否安装了BashSupport,Python和Scala插件(可以使用新版本)。 到目前为止,它们将必须手动安装-我们将尽快修复。
  • 安装最新的Big Data Tools插件版本。
  • 如果一切正常,重新启动IDE后,大数据工具窗口将显示在右侧。 打开它,单击窗口工具栏上的“ +”图标,然后选择Zeppelin。
  • 在“ Zeppelin连接”对话框中,指定用于连接Zeppelin实例的设置(主机,端口,凭据等)。 要测试连接,请使用“测试连接”。
  • 配置Zeppelin配置后,您将在工具窗口中看到此实例以及笔记本电脑树。 现在,您可以管理笔记本电脑并在编辑器中打开它们。

接下来是什么?

首先,我们不会仅限于与Zeppelin和Spark集成,我们当然会改进。 我们计划支持更多用于处理大数据的工具:添加与HDFS和S3等分布式文件系统的集成,实现集成的Parquet文件查看器并改善SQL支持。

这是在可预见的将来我们工作的示例计划:

  • 2019年11月:兼容IntelliJ IDEA Ultimate 2019.3 EAP。
  • 2019年11月:与S3(Explorer)集成。
  • 2019年12月:基本的SQL支持(突出显示,自动完成,自动格式化等)。
  • 2020年1月:与HDFS(Explorer)和用于查看Parquet文件的工具集成。
  • 2020年2月:与Hadoop和Spark的基本集成(用户界面YARN,Spark等)。
  • 2020年春季/夏季:Zeppelin笔记本电脑支持Python(我们还考虑了该插件与PyCharm Professional Edition的兼容性,稍后我们将进行介绍)。

这是一个没有定论的计划。 我们将根据您的反馈进行调整,以确保我们专注于正确的事情。 请告诉我们有关错误的信息,并就缺少哪些功能以及该功能应如何工作发表您的看法。

有关新插件的其他重要信息

Big Data Tools插件仅与IntelliJ IDEA Ultimate兼容,而在Community Edition中不可用。 我们不知道他是否会加入社区版。 目前,我们没有这样的计划。
其他开发环境也是如此。 我们尚不知道该插件是否将与其他IDE兼容。 目前,我们只有一个初步计划,即在插件中添加Python支持后立即增加与PyCharm Professional Edition的兼容性。 随着插件的开发,我们将能够更好地了解在其他IDE中对其支持的上下文中应该移至何处。

我没有IntelliJ IDEA Ultimate的许可证。 我如何尝试插件?

  • 如果您积极参与任何开源大数据项目,请给我们写信。
  • 如果您想撰写有关大数据工具的文章,请与我们联系,我们将为您提供扩展的试用版,以便您评估该插件。
  • 如果您既不是提交者也不是博客作者,但对大数据感兴趣,请与我们联系以获取扩展的试用版(例如,最长3个月)。 此优惠有限。

如何发表评论

我们非常期待您对插件的反馈。 您可以在此帖子的评论中提出任何问题。 将评论和建议留在我们的跟踪器中
您还可以通过简短调查来分享对插件的印象。 只需要一分钟。

建设性的批评将帮助我们尽可能方便和高效地处理Spark,Zeppelin和大数据。 因此,请随时分享您的反馈和建议-这对我们很重要。

PS特别高兴的是,插件巧合与我们参加Spark AI Summit恰好同时发生。 因此,如果您突然在本次会议上发现自己,请确保进入我们的展位:您可以查看实际使用的插件并分享您的印象。

Source: https://habr.com/ru/post/zh-CN471770/


All Articles