如果您有关注过去一年中 Python DataFrame 的进展，那么您一定听说过 Polars，专为处理大型数据集而设计的强大 DataFrame 库。 在 DataSpell 中试用 Polars 与 Spark、Dask 和 Ray 等处理大型数据集的其他库有所不同，Polars 在单台机器上使用，也因此引起许多与 pandas 的比较。 事实上，Polars 在许多重要方面都与 pandas 存在差异，包括数据处理方式以及最佳应用。 下文将探讨这两种 DataFrame 库的技术细节区别，并分析其各自优点和局限。 如果您想听 Polars 的缔造者 Ritchie Vink 亲口讲述…

DataSpell 2023.1 带来了提高 Jupyter Notebook 和 pandas DataFrames 生产力的功能，以及一批用户体验改进。 许多 DataSpell 用户要求能够像其他 JetBrains IDE 一样将他们的工作组织成多个独立的项目，而在这个版本中我们已经实现了这一点！ 通过自动在 Jupyter Notebook 与 Python 脚本之间进行转换、拖放 CSV 文件以创建 pandas DataFrame、查看单元执行的开始时间和持续时间等功能来加快繁琐任务的处理。 通过 Jupyter Notebook 调试器中的交互式调试控制台和功能齐全的 …

对于使用 Windows 的数据科学家或机器学习工程师来说，Windows Subsystem for Linux 2 (WSL 2) 的功能一定不算陌生。 WSL 2 允许使用 Hyper-V 虚拟化在 Windows 10 或 11 上完全安装 Linux 发行版。 涉及数据科学或机器学习任务时，这提供了来自两个方面的优势：在 Windows 上访问所有应用程序或文件，以及使用 Linux 运行 Python 代码。 这完美契合使用 Linux 专属软件包的分析或模型，无需手动编译。 WSL 2 比传统虚拟机更轻量，仅提供命令行功能，一…

在上一篇专门讨论整行代码补全的文章中，我们探讨了整行补全插件的神经网络用于 Python 的词汇表。 然而，仅仅 16384 个词例，如 self.、or、s.append(、return value 和文章中描述的其他词例，甚至不足以生成一行。 我们需要一种能够将这些词例组合起来编写代码块的方式。 本文将讨论算法如何使用词汇表的元素构造更长的短语。 首先是自回归。 自回归 文本（和代码）生成基于多个概念，自回归是其中之一。 机器学习算法将现有文本或其中的一部分作为输入，预测词汇表中各个词例成为文本中下一个词例的概率。 这些概率的预测由基于 Transform…

JetBrains Python 整行代码补全插件现已推出公测版。 我们想谈谈一些用于创建插件的技术和算法，并分享我们收集的有关 Python 编程的统计数据。 什么是“整行代码补全”？ 代码补全的作用是向用户建议下一个键入的单词。 如果您对代码补全还不熟悉，可以阅读我们的系列介绍文章（一、二、三、四）。 整行代码补全通过建议更大的代码段来扩展服务。 它还可以为您填写方法调用形参或编写错误消息文本。 在用户体验方面，它类似于普通的代码补全，并使用相同的弹出窗口呈现结果： 但是，这种扩展补全形式背后是截然不同的技术…

我们荣幸地宣布，我们的全新数据科学 IDE DataSpell 已正式发布！ DataSpell 是 JetBrains 的新 IDE，专为参与探索性数据分析和 ML 模型原型设计的人员而设计。 DataSpell 在一个符合人体工学的环境中将 Jupyter Notebook 的交互性与 PyCharm 的智能 Python 和 R 编码辅助相结合。 https://youtu.be/iaKX-W3Rj9M DataSpell 提供哪些主要功能？ 首先，DataSpell 支持本地和远程 Jupyter Notebook。 可以直接在 …

由于 Python 现已成为数据科学的首选语言，JetBrains 的 PyCharm 必须配备数据科学功能。 根据我们团队在过去一年中收到的反馈，我们在努力大幅改进 PyCharm 对数据科学的支持。 在这一过程中，我们发现，数据科学家和软件开发人员都有不同的工作流程和对其工具的期望。 因此，我们决定以 PyCharm 的 IDE 引擎作为一个全新的 IDE 的基础，打造出更专注于数据科学的工具。今天，我们很高兴与大家分享这个新 IDE 的一些独特功能，同时也邀请大家加入它的 EAP（早期试用计划）。 这个 IDE 的正式名字叫 JetBrains DataSpell（最终名称可能会在发…