隆重推出 PyCharm Databricks 集成
我们现已推出 Databricks 与 PyCharm Professional 的集成,让您更轻松地处理、存储和分析数据!
借助集成,您可以直接在 PyCharm Professional 内的 Databricks Data Intelligence Platform 上构建数据和 AI 应用,并利用 JetBrains 的强大 Python IDE 增强数据分析平台。 您能够快速轻松地编写代码并在云端运行,无需额外配置,另外它还为数据处理提供了额外帮助。
阅读本文,详细了解集成、适用人群以及它提供的好处。
观看插件的实际运作
https://www.youtube.com/watch?v=b2q8zbZppHI
什么是 Databricks?
Databricks Data Intelligence Platform 允许您的整个组织使用数据和 AI。 它建立在湖仓上,为所有数据和治理营造了开放、统一的基础,并由了解数据独特性的数据智能引擎驱动。
什么是 PyCharm Professional?
PyCharm Professional 是一款适用于 Python 和其他编程语言的领先 IDE。 它让您可以在一个地方直接使用卓越的代码补全、重构功能、代码检查、无缝代码与项目导航、调试器以及广泛的集成(包括 Jupyter Notebook、测试框架、Git、CI/CD 解决方案等)编写高质量、高效的代码。
集成适合谁使用?
通过 Databricks 使用数据湖仓、数据湖和数据仓库的组织和数据专业人员将受益于这种集成。
集成提供了哪些好处?
集成结合了每个平台最强大的功能,让您能够在 PyCharm 中轻松地大规模构建数据和 AI 应用程序:
- 使用 PyCharm 实现软件开发最佳做法,这对于大型代码库至关重要,例如源代码控制、模块化代码布局、测试等。
- Databricks 支持强大的集群,让您可以处理对于本地机器来说过大的项目,并帮助您高效编排数据处理。
您可以在 PyCharm 中为管道和作业编写代码,然后在 Databricks 集群上实时部署、测试和运行,无需额外配置。
我们来深入了解 PyCharm Databricks 集成的更多详细信息。
通过 PyCharm 连接到集群
您可以通过 PyCharm 直接连接到 Databricks 集群并在 IDE 中监控进程。 这允许您检查集群是否正在运行、查看当前会话运行的结果,以及查看进程结果和额外详细信息。
在远程集群上运行 Python 脚本
此外,您还可以在远程集群上运行 Python 脚本(这特别适合大数据处理),并在 IDE 中查看结果。
将 Jupyter Notebook 或 Python 脚本作为工作流运行
此外,您可以将 Notebook 或 Python 脚本作为 Databricks 工作流运行,并在控制台中查看输出。
您可以在 Databricks 平台上查看运行的结果,包括从 PyCharm 发起的运行。
将项目文件同步到 Databricks 工作区
项目文件与 Databricks 工作区的同步使您可以在 PyCharm 和 Databricks 工作区中访问和使用相同的文件。 您还可以安排 Notebook 和脚本,并为 PyCharm 中完成的项目利用其他平台功能。
如何开始
准备好以下各项:
您可以从 JetBrains Marketplace 或直接从 PyCharm IDE 内部安装 Databricks 插件。
参阅文档获取有关入门和插件使用的分步说明。
您对这项集成有什么看法? 请在下方评论区中与我们分享您的想法。
本博文英文原作者: