新工具 Big Data Tools! – IntelliJ IDEA 中集成 Spark 与 Zeppelin Notebook
万岁!今天我们有令人兴奋的消息要宣布。毕竟,JetBrains 并不常推出新开发者工具。今天我们非常高兴地宣布 Big Data Tools – 一个集成 Spark 且支持编辑和运行 Zeppelin Notebooks 的 IntelliJ IDEA 新插件。现在,因为有了 Big Data Tools 插件,无需离开自己喜欢的 IDE 就可以创建、编辑或运行 Zeppelin 笔记本。该插件提供了智能导航,代码完成,检查和快速修复以及在笔记本内部进行重构的功能。
这个插件到底支持哪些特性?
-
浏览、创建和删除 Notebook
-
Scala 段落的编码辅助
-
-
代码补全
-
重命名重构
-
提取变量、方法或参数
-
转到声明
-
显示用例
-
-
创建和删除段落
-
运行段落
-
游览段落的输出
-
支持基本的可视化
注意:编码帮助当前仅限于 Scala 代码。其他语言将稍后发布。另外,我们将来计划不仅 Zeppelin Notebook,并添加更多功能,以简化数据工程师、数据科学家和其他与大数据合作的专业人员的开发经验。
如果您更喜欢看到它的实际效果,请务必观看以下短片:
https://youtube.com/watch?v=YhhPcdmMHao%3Fversion%3D3%26rel%3D1%26fs%3D1%26autohide%3D2%26showsearch%3D0%26showinfo%3D1%26iv_load_policy%3D1%26wmode%3Dtransparent
或者直接去尝试一下!这里有一些如何入门的简短介绍。
如何使用插件?
-
确保版本为 IntelliJ IDEA Ultimate 2019.2(注意:它目前无法用于 2019.3 EAP)。
-
确保已安装 BashSupport、Python 和 Scala 插件(最新版本都可以)。目前还必须手动安装 – 这将会尽速改善。
-
安装最新版本的 Big Data Tools 插件。
-
如一切正常,在 IDE 重启后,将在右侧看到 Big Data Tools 工具窗口。打开它,然后单击工具窗口工具栏上的 “ +” 图标,再选择 Zeppelin。
-
在 Zeppelin 连接对话框中,填写 Zeppelin 实例的连接参数(例如主机、端口、凭证等)。使用「Test Connection」检查其连接。
-
配置 Zeppelin 后,您将在工具窗口中看到该实例以及 Notebook 树。在编辑器中可以随意管理或打开 Notebook。
您还可以期待什么?
首先,我们计划改进和超越 Zeppelin 和 Spark 的集成。我们预计会引入更多对大数据工具的集成,包括与分布式文件系统(例如 HDFS 和 S3)的集成、Parquet 文件的内置查看器以及对 SQL 更好的支持。
目前特性路线图的计划:
-
11 月:与 IntelliJ IDEA Ultimate 2019.3 EAP 的兼容性
-
2019 年 11 月:与 S3 集成(文件游览器)
-
2019 年 12 月:SQL 的基本编码辅助(高亮显示、补全、自动格式化等)
-
2020 年 1 月:与 HDFS(文件浏览器)和 Parquet Viewer 集成
-
2 月:与 Hadoop 和 Spark 的基本集成(YARN 和 Spark UI 等)。
-
2020 年春季/夏季:Python 在 Zeppelin Notebook 中的支持(正在审查使该插件与 PyCharm Professional Edition 兼容,后期将进行确认)。
路线图并非一成不变。我们非常乐意根据您的看法和建议调整路线图,以确保我们可以专注于对您重要的功能。请与我们联系并分享您的反馈意见 – 无论是对特性的期望、缺少的功能及错误,我们都欢迎。
关于新插件,还有什么必须知道的?
Big Data Tools 插件目前仅于 IntelliJ IDEA Ultimate 兼容。这表示该插件不适用于社区版。我们尚不知道该插件是否可以加入社区版。目前,我们还没有这样的计划。其他 IDE 也是如此。
我们尚不知道该插件是否也将与其他 IDE 兼容。目前,我们只有一个初步计划,即在插件获得对 Python的支持后,将兼容性扩展到 PyCharm Professional Edition。随着插件的成熟,我们可能会对如何进一步发展其他 IDE 有了更多的了解。
我没有 IntelliJ IDEA Ultimate 的授权,如何试用这个插件?
-
如果您是与大数据有关的任何开源项目的积极提交者,请与我们联系。
-
如果您正在撰写有关大数据工具的文章,请与我们联系。我们将延展您的试用期,以便您可以试用该插件。
-
如果您既不是提交者,也不是博客作者,但对大数据有浓厚兴趣,也请与我们联系以延展您的试用(最长 3 个月)– 此优惠是有限的。
您的反馈
我们很想听听您对插件的反馈。如果有任何疑问或意见,请在这篇博文发表您的想法。如果您发现任何错误或想要提出功能建议,请将其提交到我们的问题跟踪器。
如果您尝试过该插件,并希望提出错误报告、功能请求或分享您的总体反馈,请填写这份 1 分钟调研。
您的反馈对我们至关重要,我们希望使您在 Spark、Zeppelin 和大数据方面的开发体验更轻松愉快。请分享您的建设性反馈,以帮助我们做到这一点。
Slack 社区
我们设置了一个Slack 工作空间,以促进协作和反馈共享。加入并与插件开发团队及其他用户分享您的经验。
P.S. :我们特别高兴的是,当这新工具宣布的同时,我们团队也正决定参加入 Spark AI 峰会。如果您有机会参加此次会议,请访问我们的展位并向团队问好,查看实际使用的插件并分享您的反馈。
The Drive to Develop!
您的 JetBrains 团队