IntelliJ IDEA Tutorials 开发工具

新工具 Big Data Tools! – IntelliJ IDEA 中集成 Spark 与 Zeppelin Notebook

万岁!今天我们有令人兴奋的消息要宣布。毕竟,JetBrains 并不常推出新开发者工具。今天我们非常高兴地宣布 Big Data Tools – 一个集成 Spark 且支持编辑和运行 Zeppelin Notebooks 的 IntelliJ IDEA 新插件。现在,因为有了 Big Data Tools 插件,无需离开自己喜欢的 IDE 就可以创建、编辑或运行 Zeppelin 笔记本。该插件提供了智能导航,代码完成,检查和快速修复以及在笔记本内部进行重构的功能。

这个插件到底支持哪些特性?

  • 浏览、创建和删除 Notebook

  • Scala 段落的编码辅助

    • 代码补全

    • 重命名重构

    • 提取变量、方法或参数

    • 转到声明

    • 显示用例

  • 创建和删除段落

  • 运行段落

  • 游览段落的输出

  • 支持基本的可视化

注意:编码帮助当前仅限于 Scala 代码。其他语言将稍后发布。另外,我们将来计划不仅 Zeppelin Notebook,并添加更多功能,以简化数据工程师、数据科学家和其他与大数据合作的专业人员的开发经验。

如果您更喜欢看到它的实际效果,请务必观看以下短片:

https://youtube.com/watch?v=YhhPcdmMHao%3Fversion%3D3%26rel%3D1%26fs%3D1%26autohide%3D2%26showsearch%3D0%26showinfo%3D1%26iv_load_policy%3D1%26wmode%3Dtransparent

或者直接去尝试一下!这里有一些如何入门的简短介绍。

如何使用插件?

  • 确保版本为 IntelliJ IDEA Ultimate 2019.2(注意:它目前无法用于 2019.3 EAP)。

  • 确保已安装 BashSupport、Python 和 Scala 插件(最新版本都可以)。目前还必须手动安装 – 这将会尽速改善。

  • 安装最新版本的 Big Data Tools 插件。

  • 如一切正常,在 IDE 重启后,将在右侧看到 Big Data Tools 工具窗口。打开它,然后单击工具窗口工具栏上的 “ +” 图标,再选择 Zeppelin。

  • 在 Zeppelin 连接对话框中,填写 Zeppelin 实例的连接参数(例如主机、端口、凭证等)。使用「Test Connection」检查其连接。

  • 配置 Zeppelin 后,您将在工具窗口中看到该实例以及 Notebook 树。在编辑器中可以随意管理或打开 Notebook。

您还可以期待什么?

首先,我们计划改进和超越 Zeppelin 和 Spark 的集成。我们预计会引入更多对大数据工具的集成,包括与分布式文件系统(例如 HDFS 和 S3)的集成、Parquet 文件的内置查看器以及对 SQL 更好的支持。

目前特性路线图的计划:

  • 11 月:与 IntelliJ IDEA Ultimate 2019.3 EAP 的兼容性

  • 2019 年 11 月:与 S3 集成(文件游览器)

  • 2019 年 12 月:SQL 的基本编码辅助(高亮显示、补全、自动格式化等)

  • 2020 年 1 月:与 HDFS(文件浏览器)和 Parquet Viewer 集成

  • 2 月:与 Hadoop 和 Spark 的基本集成(YARN 和 Spark UI 等)。

  • 2020 年春季/夏季:Python 在 Zeppelin Notebook 中的支持(正在审查使该插件与 PyCharm Professional Edition 兼容,后期将进行确认)。

路线图并非一成不变。我们非常乐意根据您的看法和建议调整路线图,以确保我们可以专注于对您重要的功能。请与我们联系并分享您的反馈意见 – 无论是对特性的期望、缺少的功能及错误,我们都欢迎。

关于新插件,还有什么必须知道的?

Big Data Tools 插件目前仅于 IntelliJ IDEA Ultimate 兼容。这表示该插件不适用于社区版。我们尚不知道该插件是否可以加入社区版。目前,我们还没有这样的计划。其他 IDE 也是如此。

我们尚不知道该插件是否也将与其他 IDE 兼容。目前,我们只有一个初步计划,即在插件获得对 Python的支持后,将兼容性扩展到 PyCharm Professional Edition。随着插件的成熟,我们可能会对如何进一步发展其他 IDE 有了更多的了解。

我没有 IntelliJ IDEA Ultimate 的授权,如何试用这个插件?

  • 如果您是与大数据有关的任何开源项目的积极提交者,请与我们联系。

  • 如果您正在撰写有关大数据工具的文章,请与我们联系。我们将延展您的试用期,以便您可以试用该插件。

  • 如果您既不是提交者,也不是博客作者,但对大数据有浓厚兴趣,也请与我们联系以延展您的试用(最长 3 个月)– 此优惠是有限的。

您的反馈

我们很想听听您对插件的反馈。如果有任何疑问或意见,请在这篇博文发表您的想法。如果您发现任何错误或想要提出功能建议,请将其提交到我们的问题跟踪器

如果您尝试过该插件,并希望提出错误报告、功能请求或分享您的总体反馈,请填写这份 1 分钟调研

您的反馈对我们至关重要,我们希望使您在 Spark、Zeppelin 和大数据方面的开发体验更轻松愉快。请分享您的建设性反馈,以帮助我们做到这一点。

Slack 社区

我们设置了一个Slack 工作空间,以促进协作和反馈共享。加入并与插件开发团队及其他用户分享您的经验。

P.S. :我们特别高兴的是,当这新工具宣布的同时,我们团队也正决定参加入 Spark AI 峰会。如果您有机会参加此次会议,请访问我们的展位并向团队问好,查看实际使用的插件并分享您的反馈。

The Drive to Develop!
您的 JetBrains 团队

Discover more

网络研讨会视频:快速上手,使用 Kotlin 把支付宝小程序装进自己的 App

写一个 Android App 或许不难,但企业对于移动应用的要求愈来愈高,不只要求开发速度、稳定度、质量等,甚至希望能具备动态扩展的架构设计、在 App 中自启动小程序。面向这些需求,若是有好的开发工具及平台的支持,将可以大大降低开发及运维的成本。本次网络研讨会特别邀请到支付宝高级无线开发工程师温盛章为大家演示用 Kotlin 开发移动应用,并集成 mPaaS 让 App 具备小程序能力。 (本次视频已同步发表至 B 站) 主題分享 本次分享共有三个关键字: Kotlin 、 小程序 、 mPaaS 。温盛章首先从用户、开发、技术、平台等四大视角,向大家说明小程序是什么?简单来说,小程序就是一种拥有完整生命周期、应用间相互隔离、独立运行于宿主应用内的应用。而小程序从工作型 App、平台型 App、超级 App 到新阶段一路的演化历程,目前已经可以有接近 Native 的体验和顺畅、也可以有 H5 的快捷发布的优势。 对小程序有概念后,温盛章就以 Android Studio 演示如何在一个 Mobile App 里,以 Kotlin 撰写 Mobile App 的代码,并接上 mPaaS 平台,让 App 有自启动小程序的能力。要接入 mPaaS,首先需在 Android Studio 里安装 mPaaS 插件,并到阿里云的 mPaaS 后台创建一个新建用。接着,在 Andro

网络研讨会视频:重构还是重写?聊聊 Java 代码臭味与重构技巧

在重构一书里,将有问题的代码称作代码臭味(Code Smells,有些翻译成”代码异味”、”代码坏味道”),表示这份代码可能有设计上的问题、或是因为写得太凌乱而难以维护。总得来说,这份代码需要通过重构来改善。这样的场景往往是许多开发者的每日工作,因此,判定一位开发者的等级,往往就是看他的重构技巧是否熟练。本次网路研讨会特别邀请到 Odd-e 敏捷教练张博超(Jackson)为大家演示如何用 IntelliJ IDEA 的重构功能来改善 Java 代码臭味。 (本次视频已同步发表至 B 站) 主題分享 在本次的分享里,张博超先用一个日常工作的场景给大家举了个例子:我们在工作前可能会先收拾一下桌子、重启电脑、提前打开软件、在昨天写的代码上加注释,这些动作代表很多情况下,人会有直觉去做改善措施,这些改善措施的背后都会对应一个需要解决的问题。写代码也是类似的,每当我们说要改善代码前,需要先想清楚这个改善的目标是什么?是要解决什么问题?同时,我们也要思考这个改善的作法是不是能真正的解决问题? 为了让大家具体体现重构的过程,张博超以一个计算预算的代码为例子,实际以 IntelliJ IDEA 演示该怎么综合运用提取变量、提取方法、提取类、引入参数对象、修改构造函数等重构功能安全地修改代码,将一个原本高达 30 行、充满原始类型迷恋(Primitives Obsession)、过分亲密(In