Big Data Tools 1.5:Amazon EMR 支持、阿里云 OSS 集成等

Read this post in other languages:

在此新版本的 Big Data Tools 中,我们为数据工程师增加了对更多工具的支持,包括 Amazon EMR 数据处理平台和阿里云对象存储服务。 现在,您可以直接从 IDE 中使用它们。 下文介绍了此版本引入的以上功能和其他增强功能。

Amazon EMR 支持

现在,您可以监控 Amazon EMR 数据处理平台中的群集和节点。

人性化的简单 UI 界面助力使用群集。

点击一下,即可创建到以下位置的连接:

  • HDFS
  • Hadoop 和 Spark 监控
  • Zeppelin
  • AWS S3
  • SFTP 主节点和数据节点

您还可以通过自动创建的 SSH 隧道打开内部群集服务网页(如 Ganglia)。

在 Amazon EMR 上使用 Spark Submit 运行应用程序

您可以在 IDE 中配置所有 Spark-Submit 参数,无需使用控制台,还可以将 jar 从本地机器上传到 S3 或类似群集。

远程文件系统支持改进

阿里云对象存储服务支持

阿里云 OSS 已被添加到插件支持的远程和云文件存储列表,列表中包括 AWS S3、Google Cloud Storage、Microsoft Azure 等。 现在,您可以在连接阿里云 OSS 后直接从 IDE 访问其数据。

新的文件查看器

使用适用于远程文件系统的全新全尺寸查看器,您可以找到有关文件夹和文件的更多元信息,并在单独的面板中查看文件信息。


以上就是此主要版本中最值得注意的亮点。 有关新功能和增强功能的完整列表,请参阅 JetBrains Big Data Tools 插件页面上的“最新变化”。 请在我们的问题跟踪器中分享您的反馈并报告您遇到的任何问题。

Big Data Tools 团队

本博文英文原作者:

image description