Big Data Tools
A data engineering plugin
Big Data Tools 1.5:Amazon EMR 支持、阿里云 OSS 集成等
在此新版本的 Big Data Tools 中,我们为数据工程师增加了对更多工具的支持,包括 Amazon EMR 数据处理平台和阿里云对象存储服务。 现在,您可以直接从 IDE 中使用它们。 下文介绍了此版本引入的以上功能和其他增强功能。
Amazon EMR 支持
现在,您可以监控 Amazon EMR 数据处理平台中的群集和节点。
人性化的简单 UI 界面助力使用群集。
点击一下,即可创建到以下位置的连接:
- HDFS
- Hadoop 和 Spark 监控
- Zeppelin
- AWS S3
- SFTP 主节点和数据节点
您还可以通过自动创建的 SSH 隧道打开内部群集服务网页(如 Ganglia)。
在 Amazon EMR 上使用 Spark Submit 运行应用程序
您可以在 IDE 中配置所有 Spark-Submit 参数,无需使用控制台,还可以将 jar 从本地机器上传到 S3 或类似群集。
远程文件系统支持改进
阿里云对象存储服务支持
阿里云 OSS 已被添加到插件支持的远程和云文件存储列表,列表中包括 AWS S3、Google Cloud Storage、Microsoft Azure 等。 现在,您可以在连接阿里云 OSS 后直接从 IDE 访问其数据。
新的文件查看器
使用适用于远程文件系统的全新全尺寸查看器,您可以找到有关文件夹和文件的更多元信息,并在单独的面板中查看文件信息。
以上就是此主要版本中最值得注意的亮点。 有关新功能和增强功能的完整列表,请参阅 JetBrains Big Data Tools 插件页面上的“最新变化”。 请在我们的问题跟踪器中分享您的反馈并报告您遇到的任何问题。
Big Data Tools 团队
本博文英文原作者: