在此新版本的 Big Data Tools 中,我们为数据工程师增加了对更多工具的支持,包括 Amazon EMR 数据处理平台和阿里云对象存储服务。 现在,您可以直接从 IDE 中使用它们。 下文介绍了此版本引入的以上功能和其他增强功能。
Amazon EMR 支持
现在,您可以监控 Amazon EMR 数据处理平台中的群集和节点。
人性化的简单 UI 界面助力使用群集。
点击一下,即可创建到以下位置的连接:
HDFSHadoop 和 Spark 监控ZeppelinAWS S3SFTP 主节点和数据节点
您还可以通过自动创建的 SSH 隧道打开内部群集服务网页(如 Ganglia)。
在 Amazon EMR 上使用 Spark Submit 运行应用程序
您可以在 IDE 中配置所有 Spark-Submit 参数,无需使用控制台,还可以将 jar 从本地机器上传到 S3 或类似群集。
远程文件系统支持改进
阿里云对象存储服务支持
阿里云 OSS 已被添加到插件支持的远程和云文件存储列表,列表中包括 AWS S3、Google Cloud Storage、Microsoft Azure 等。