新工具 Big Data Tools！ – IntelliJ IDEA 中集成 Spark 与 Zeppelin Notebook

Lei

万岁！今天我们有令人兴奋的消息要宣布。毕竟，JetBrains 并不常推出新开发者工具。今天我们非常高兴地宣布 Big Data Tools – 一个集成 Spark 且支持编辑和运行 Zeppelin Notebooks 的 IntelliJ IDEA 新插件。现在，因为有了 Big Data Tools 插件，无需离开自己喜欢的 IDE 就可以创建、编辑或运行 Zeppelin 笔记本。该插件提供了智能导航，代码完成，检查和快速修复以及在笔记本内部进行重构的功能。

这个插件到底支持哪些特性？

• 浏览、创建和删除 Notebook

• Scala 段落的编码辅助

• • 代码补全

  • 重命名重构

  • 提取变量、方法或参数

  • 转到声明

  • 显示用例

• 创建和删除段落

• 运行段落

• 游览段落的输出

• 支持基本的可视化

注意：编码帮助当前仅限于 Scala 代码。其他语言将稍后发布。另外，我们将来计划不仅 Zeppelin Notebook，并添加更多功能，以简化数据工程师、数据科学家和其他与大数据合作的专业人员的开发经验。

如果您更喜欢看到它的实际效果，请务必观看以下短片：

https://youtube.com/watch?v=YhhPcdmMHao%3Fversion%3D3%26rel%3D1%26fs%3D1%26autohide%3D2%26showsearch%3D0%26showinfo%3D1%26iv_load_policy%3D1%26wmode%3Dtransparent

或者直接去尝试一下！这里有一些如何入门的简短介绍。

如何使用插件？

• 确保版本为 IntelliJ IDEA Ultimate 2019.2（注意：它目前无法用于 2019.3 EAP）。

• 确保已安装 BashSupport、Python 和 Scala 插件（最新版本都可以）。目前还必须手动安装 – 这将会尽速改善。

• 安装最新版本的 Big Data Tools 插件。

• 如一切正常，在 IDE 重启后，将在右侧看到 Big Data Tools 工具窗口。打开它，然后单击工具窗口工具栏上的 “ +” 图标，再选择 Zeppelin。

• 在 Zeppelin 连接对话框中，填写 Zeppelin 实例的连接参数（例如主机、端口、凭证等）。使用「Test Connection」检查其连接。

• 配置 Zeppelin 后，您将在工具窗口中看到该实例以及 Notebook 树。在编辑器中可以随意管理或打开 Notebook。

您还可以期待什么？

首先，我们计划改进和超越 Zeppelin 和 Spark 的集成。我们预计会引入更多对大数据工具的集成，包括与分布式文件系统（例如 HDFS 和 S3）的集成、Parquet 文件的内置查看器以及对 SQL 更好的支持。

目前特性路线图的计划：

• 11 月：与 IntelliJ IDEA Ultimate 2019.3 EAP 的兼容性

• 2019 年 11 月：与 S3 集成（文件游览器）

• 2019 年 12 月：SQL 的基本编码辅助（高亮显示、补全、自动格式化等）

• 2020 年 1 月：与 HDFS（文件浏览器）和 Parquet Viewer 集成

• 2 月：与 Hadoop 和 Spark 的基本集成（YARN 和 Spark UI 等）。

• 2020 年春季/夏季：Python 在 Zeppelin Notebook 中的支持（正在审查使该插件与 PyCharm Professional Edition 兼容，后期将进行确认）。

路线图并非一成不变。我们非常乐意根据您的看法和建议调整路线图，以确保我们可以专注于对您重要的功能。请与我们联系并分享您的反馈意见 – 无论是对特性的期望、缺少的功能及错误，我们都欢迎。

关于新插件，还有什么必须知道的？

Big Data Tools 插件目前仅于 IntelliJ IDEA Ultimate 兼容。这表示该插件不适用于社区版。我们尚不知道该插件是否可以加入社区版。目前，我们还没有这样的计划。其他 IDE 也是如此。

我们尚不知道该插件是否也将与其他 IDE 兼容。目前，我们只有一个初步计划，即在插件获得对 Python的支持后，将兼容性扩展到 PyCharm Professional Edition。随着插件的成熟，我们可能会对如何进一步发展其他 IDE 有了更多的了解。

我没有 IntelliJ IDEA Ultimate 的授权，如何试用这个插件？

• 如果您是与大数据有关的任何开源项目的积极提交者，请与我们联系。

• 如果您正在撰写有关大数据工具的文章，请与我们联系。我们将延展您的试用期，以便您可以试用该插件。

• 如果您既不是提交者，也不是博客作者，但对大数据有浓厚兴趣，也请与我们联系以延展您的试用（最长 3 个月）– 此优惠是有限的。

您的反馈

我们很想听听您对插件的反馈。如果有任何疑问或意见，请在这篇博文发表您的想法。如果您发现任何错误或想要提出功能建议，请将其提交到我们的问题跟踪器。

如果您尝试过该插件，并希望提出错误报告、功能请求或分享您的总体反馈，请填写这份 1 分钟调研。

您的反馈对我们至关重要，我们希望使您在 Spark、Zeppelin 和大数据方面的开发体验更轻松愉快。请分享您的建设性反馈，以帮助我们做到这一点。

Slack 社区

我们设置了一个Slack 工作空间，以促进协作和反馈共享。加入并与插件开发团队及其他用户分享您的经验。

P.S. ：我们特别高兴的是，当这新工具宣布的同时，我们团队也正决定参加入 Spark AI 峰会。如果您有机会参加此次会议，请访问我们的展位并向团队问好，查看实际使用的插件并分享您的反馈。

The Drive to Develop!
您的 JetBrains 团队