IntelliJ IDEA Tutorials 开发工具

新工具 Big Data Tools! – IntelliJ IDEA 中集成 Spark 与 Zeppelin Notebook

万岁!今天我们有令人兴奋的消息要宣布。毕竟,JetBrains 并不常推出新开发者工具。今天我们非常高兴地宣布 Big Data Tools – 一个集成 Spark 且支持编辑和运行 Zeppelin Notebooks 的 IntelliJ IDEA 新插件。现在,因为有了 Big Data Tools 插件,无需离开自己喜欢的 IDE 就可以创建、编辑或运行 Zeppelin 笔记本。该插件提供了智能导航,代码完成,检查和快速修复以及在笔记本内部进行重构的功能。

这个插件到底支持哪些特性?

  • 浏览、创建和删除 Notebook

  • Scala 段落的编码辅助

    • 代码补全

    • 重命名重构

    • 提取变量、方法或参数

    • 转到声明

    • 显示用例

  • 创建和删除段落

  • 运行段落

  • 游览段落的输出

  • 支持基本的可视化

注意:编码帮助当前仅限于 Scala 代码。其他语言将稍后发布。另外,我们将来计划不仅 Zeppelin Notebook,并添加更多功能,以简化数据工程师、数据科学家和其他与大数据合作的专业人员的开发经验。

如果您更喜欢看到它的实际效果,请务必观看以下短片:

https://youtube.com/watch?v=YhhPcdmMHao%3Fversion%3D3%26rel%3D1%26fs%3D1%26autohide%3D2%26showsearch%3D0%26showinfo%3D1%26iv_load_policy%3D1%26wmode%3Dtransparent

或者直接去尝试一下!这里有一些如何入门的简短介绍。

如何使用插件?

  • 确保版本为 IntelliJ IDEA Ultimate 2019.2(注意:它目前无法用于 2019.3 EAP)。

  • 确保已安装 BashSupport、Python 和 Scala 插件(最新版本都可以)。目前还必须手动安装 – 这将会尽速改善。

  • 安装最新版本的 Big Data Tools 插件。

  • 如一切正常,在 IDE 重启后,将在右侧看到 Big Data Tools 工具窗口。打开它,然后单击工具窗口工具栏上的 “ +” 图标,再选择 Zeppelin。

  • 在 Zeppelin 连接对话框中,填写 Zeppelin 实例的连接参数(例如主机、端口、凭证等)。使用「Test Connection」检查其连接。

  • 配置 Zeppelin 后,您将在工具窗口中看到该实例以及 Notebook 树。在编辑器中可以随意管理或打开 Notebook。

您还可以期待什么?

首先,我们计划改进和超越 Zeppelin 和 Spark 的集成。我们预计会引入更多对大数据工具的集成,包括与分布式文件系统(例如 HDFS 和 S3)的集成、Parquet 文件的内置查看器以及对 SQL 更好的支持。

目前特性路线图的计划:

  • 11 月:与 IntelliJ IDEA Ultimate 2019.3 EAP 的兼容性

  • 2019 年 11 月:与 S3 集成(文件游览器)

  • 2019 年 12 月:SQL 的基本编码辅助(高亮显示、补全、自动格式化等)

  • 2020 年 1 月:与 HDFS(文件浏览器)和 Parquet Viewer 集成

  • 2 月:与 Hadoop 和 Spark 的基本集成(YARN 和 Spark UI 等)。

  • 2020 年春季/夏季:Python 在 Zeppelin Notebook 中的支持(正在审查使该插件与 PyCharm Professional Edition 兼容,后期将进行确认)。

路线图并非一成不变。我们非常乐意根据您的看法和建议调整路线图,以确保我们可以专注于对您重要的功能。请与我们联系并分享您的反馈意见 – 无论是对特性的期望、缺少的功能及错误,我们都欢迎。

关于新插件,还有什么必须知道的?

Big Data Tools 插件目前仅于 IntelliJ IDEA Ultimate 兼容。这表示该插件不适用于社区版。我们尚不知道该插件是否可以加入社区版。目前,我们还没有这样的计划。其他 IDE 也是如此。

我们尚不知道该插件是否也将与其他 IDE 兼容。目前,我们只有一个初步计划,即在插件获得对 Python的支持后,将兼容性扩展到 PyCharm Professional Edition。随着插件的成熟,我们可能会对如何进一步发展其他 IDE 有了更多的了解。

我没有 IntelliJ IDEA Ultimate 的授权,如何试用这个插件?

  • 如果您是与大数据有关的任何开源项目的积极提交者,请与我们联系。

  • 如果您正在撰写有关大数据工具的文章,请与我们联系。我们将延展您的试用期,以便您可以试用该插件。

  • 如果您既不是提交者,也不是博客作者,但对大数据有浓厚兴趣,也请与我们联系以延展您的试用(最长 3 个月)– 此优惠是有限的。

您的反馈

我们很想听听您对插件的反馈。如果有任何疑问或意见,请在这篇博文发表您的想法。如果您发现任何错误或想要提出功能建议,请将其提交到我们的问题跟踪器

如果您尝试过该插件,并希望提出错误报告、功能请求或分享您的总体反馈,请填写这份 1 分钟调研

您的反馈对我们至关重要,我们希望使您在 Spark、Zeppelin 和大数据方面的开发体验更轻松愉快。请分享您的建设性反馈,以帮助我们做到这一点。

Slack 社区

我们设置了一个Slack 工作空间,以促进协作和反馈共享。加入并与插件开发团队及其他用户分享您的经验。

P.S. :我们特别高兴的是,当这新工具宣布的同时,我们团队也正决定参加入 Spark AI 峰会。如果您有机会参加此次会议,请访问我们的展位并向团队问好,查看实际使用的插件并分享您的反馈。

The Drive to Develop!
您的 JetBrains 团队

image description

Discover more