News

隆重推出 PyCharm Databricks 集成

Read this post in other languages:

我们现已推出 Databricks 与 PyCharm Professional 的集成,让您更轻松地处理、存储和分析数据! 

借助集成,您可以直接在 PyCharm Professional 内的 Databricks Data Intelligence Platform 上构建数据和 AI 应用,并利用 JetBrains 的强大 Python IDE 增强数据分析平台。 您能够快速轻松地编写代码并在云端运行,无需额外配置,另外它还为数据处理提供了额外帮助。 

阅读本文,详细了解集成、适用人群以及它提供的好处。

观看插件的实际运作

https://www.youtube.com/watch?v=b2q8zbZppHI 

 
 

什么是 Databricks?

Databricks Data Intelligence Platform 允许您的整个组织使用数据和 AI。 它建立在湖仓上,为所有数据和治理营造了开放、统一的基础,并由了解数据独特性的数据智能引擎驱动。

什么是 PyCharm Professional?

PyCharm Professional 是一款适用于 Python 和其他编程语言的领先 IDE。 它让您可以在一个地方直接使用卓越的代码补全、重构功能、代码检查、无缝代码与项目导航、调试器以及广泛的集成(包括 Jupyter Notebook、测试框架、Git、CI/CD 解决方案等)编写高质量、高效的代码。

集成适合谁使用? 

通过 Databricks 使用数据湖仓、数据湖和数据仓库的组织和数据专业人员将受益于这种集成。

集成提供了哪些好处?

集成结合了每个平台最强大的功能,让您能够在 PyCharm 中轻松地大规模构建数据和 AI 应用程序: 

  • 使用 PyCharm 实现软件开发最佳做法,这对于大型代码库至关重要,例如源代码控制、模块化代码布局、测试等。 
  • Databricks 支持强大的集群,让您可以处理对于本地机器来说过大的项目,并帮助您高效编排数据处理。 

您可以在 PyCharm 中为管道和作业编写代码,然后在 Databricks 集群上实时部署、测试和运行,无需额外配置。 

我们来深入了解 PyCharm Databricks 集成的更多详细信息。

通过 PyCharm 连接到集群

您可以通过 PyCharm 直接连接到 Databricks 集群并在 IDE 中监控进程。 这允许您检查集群是否正在运行、查看当前会话运行的结果,以及查看进程结果和额外详细信息。

通过 PyCharm 连接到集群

在远程集群上运行 Python 脚本

此外,您还可以在远程集群上运行 Python 脚本(这特别适合大数据处理),并在 IDE 中查看结果。

在远程集群上运行 Python 脚本

将 Jupyter Notebook 或 Python 脚本作为工作流运行

此外,您可以将 Notebook 或 Python 脚本作为 Databricks 工作流运行,并在控制台中查看输出。 

将 Jupyter Notebook 或 Python 脚本作为工作流运行

您可以在 Databricks 平台上查看运行的结果,包括从 PyCharm 发起的运行。

在 Databricks 平台上查看来自 PyCharm 的运行结果

将项目文件同步到 Databricks 工作区

项目文件与 Databricks 工作区的同步使您可以在 PyCharm 和 Databricks 工作区中访问和使用相同的文件。 您还可以安排 Notebook 和脚本,并为 PyCharm 中完成的项目利用其他平台功能。 

将项目文件同步到 Databricks 工作区

如何开始

准备好以下各项:

您可以从 JetBrains Marketplace 或直接从 PyCharm IDE 内部安装 Databricks 插件。

参阅文档获取有关入门和插件使用的分步说明。

您对这项集成有什么看法? 请在下方评论区中与我们分享您的想法。

本博文英文原作者:

Stanislav Garkusha

Stanislav Garkusha

image description

Discover more