我们有个好消息。 我们很高兴地宣布发布
Big Data Tools ,这是一个新的IntelliJ IDEA插件,该插件与Spark集成并支持编辑和启动Zeppelin笔记本电脑。 现在,您可以直接从IDE创建,编辑和运行Zeppelin笔记本。 该插件提供了智能导航,自动完成,检查和快速修复,以及笔记本电脑内部的代码重构。
已经支持什么- 查看,创建和删除笔记本电脑
- 帮助编写Scala代码
- 自动完成
- 重构重命名
- 提取变量,方法或参数
- 前往申报
- 使用情况搜索
- 创建和删除段落
- 运行段落
- 查看段落输出
- 基本渲染支持
到目前为止,有关编写代码的帮助仅适用于Scala。 稍后将支持其他语言。 此外,我们不会局限于Zeppelin的支持,也不打算添加更多功能,这些功能将对处理大数据的人员有用。
如果您迫不及待想看到大数据工具的实际效果,请观看以下简短视频:
最好自己尝试使用该插件! 如何执行此操作,请继续阅读。
如何使用插件- 确保您使用的是IntelliJ IDEA Ultimate 2019.2(请注意,该插件尚不适用于EAP 2019.3)。
- 检查是否安装了BashSupport,Python和Scala插件(可以使用新版本)。 到目前为止,它们将必须手动安装-我们将尽快修复。
- 安装最新的Big Data Tools插件版本。
- 如果一切正常,重新启动IDE后,大数据工具窗口将显示在右侧。 打开它,单击窗口工具栏上的“ +”图标,然后选择Zeppelin。
- 在“ Zeppelin连接”对话框中,指定用于连接Zeppelin实例的设置(主机,端口,凭据等)。 要测试连接,请使用“测试连接”。
- 配置Zeppelin配置后,您将在工具窗口中看到此实例以及笔记本电脑树。 现在,您可以管理笔记本电脑并在编辑器中打开它们。
接下来是什么?首先,我们不会仅限于与Zeppelin和Spark集成,我们当然会改进。 我们计划支持更多用于处理大数据的工具:添加与HDFS和S3等分布式文件系统的集成,实现集成的Parquet文件查看器并改善SQL支持。
这是在可预见的将来我们工作的示例计划:
- 2019年11月:兼容IntelliJ IDEA Ultimate 2019.3 EAP。
- 2019年11月:与S3(Explorer)集成。
- 2019年12月:基本的SQL支持(突出显示,自动完成,自动格式化等)。
- 2020年1月:与HDFS(Explorer)和用于查看Parquet文件的工具集成。
- 2020年2月:与Hadoop和Spark的基本集成(用户界面YARN,Spark等)。
- 2020年春季/夏季:Zeppelin笔记本电脑支持Python(我们还考虑了该插件与PyCharm Professional Edition的兼容性,稍后我们将进行介绍)。
这是一个没有定论的计划。 我们将根据您的反馈进行调整,以确保我们专注于正确的事情。 请告诉我们有关错误的信息,并就缺少哪些功能以及该功能应如何工作发表您的看法。
有关新插件的其他重要信息Big Data Tools插件仅与IntelliJ IDEA Ultimate兼容,而在Community Edition中不可用。 我们不知道他是否会加入社区版。 目前,我们没有这样的计划。
其他开发环境也是如此。 我们尚不知道该插件是否将与其他IDE兼容。 目前,我们只有一个初步计划,即在插件中添加Python支持后立即增加与PyCharm Professional Edition的兼容性。 随着插件的开发,我们将能够更好地了解在其他IDE中对其支持的上下文中应该移至何处。
我没有IntelliJ IDEA Ultimate的许可证。 我如何尝试插件?- 如果您积极参与任何开源大数据项目,请给我们写信。
- 如果您想撰写有关大数据工具的文章,请与我们联系,我们将为您提供扩展的试用版,以便您评估该插件。
- 如果您既不是提交者也不是博客作者,但对大数据感兴趣,请与我们联系以获取扩展的试用版(例如,最长3个月)。 此优惠有限。
如何发表评论我们非常期待您对插件的反馈。 您可以在此帖子的评论中提出任何问题。 将评论和建议留在
我们的跟踪器中 。
您还可以通过
简短调查来分享对插件的印象。 只需要一分钟。
建设性的批评将帮助我们尽可能方便和高效地处理Spark,Zeppelin和大数据。 因此,请随时分享您的反馈和建议-这对我们很重要。
PS特别高兴的是,插件巧合与我们参加Spark AI Summit恰好同时发生。 因此,如果您突然在本次会议上发现自己,请确保进入我们的展位:您可以查看实际使用的插件并分享您的印象。