PyCharm

这是 Talk Python 创始人兼 PSF 资深会员 Michael Kennedy 的客座文章。 欢迎阅读第八届年度 Python 开发者调查的亮点、趋势和关键行动。 本次调查由 Python Software Foundation 和 JetBrains 的 PyCharm 团队合作开展。 我是 Michael Kennedy，我分析了超过 30,000 份调查回复，提炼出最重要的趋势和预测，并确定了多种行动来帮助您改善 Python 职业发展。 作为 Talk Python to Me 播客的主持人，我处在一个独特的位置。 过去 10 年，我每周都会采访 P…

如何识别数据中可能揭示关键问题或隐藏机遇的异常模式？ 异常检测有助于识别严重偏离常规的数据。 时间序列数据由一段时间内收集的数据组成，通常包括趋势和季节性模式。 当模式被打乱时，时间序列数据中就会出现异常，异常检测也因此成为销售、金融、制造和医疗等行业的重要工具。 由于时间序列数据具有季节性和趋势等特征，需要专门的方法来有效检测异常。 在这篇博文中，我们将探讨一些流行的时间序列异常检测方法，包括 STL 分解和 LSTM 预测，并提供详细的代码示例帮助您入门。 企业中的时间序列异常检测 时间序列数据对许多企业和服务至关重要。 许多企业使用时间戳记录一段时间内的数据，由此分析变化和比较一段时间内…

近年来，我们的许多应用程序都由我们能够收集和处理的大量数据驱动。 有人可能会说我们正处于数据时代。 处理如此大量数据的一个重要方面是异常值检测 – 这个过程使我们能够识别离群值、超出预期范围的数据并展现反常的行为。 在科学研究中，异常值数据点可能是技术问题的原因，在得出结论时可能需要舍弃，或者，也可能带来新的发现。 在这篇博文中，我们将分析为什么使用机器学习进行异常值检测很有帮助，并探索使用 Python 检测异常值的关键技术。 您将学习如何实现 OneClassSVM 和孤立森林等流行方法，查看直观呈现这些结果的示例并了解如何将它们应用于实际问题。 异常值检测在哪里使用？ 异常值检测也是现代…

在本数据科学博文系列中，我们探讨了从哪里获取数据以及如何使用 pandas 探索数据，不过虽然这些数据对于学习非常有用，但它与我们所说的真实世界数据并不相似。 用于学习的数据通常已经过清理和整理，方便您快速学习而不必考虑数据清理，但真实世界数据存在问题并且很混乱。 真实世界数据需要清理才能提供有用的洞察，这就是本文的主题。  数据问题可能来自数据本身的行为、数据收集方式，甚至是数据输入方式。 流程的每个阶段都可能发生错误和疏忽。  我们在这里专门讨论数据清理而不是数据转换。 数据清理可以确保您从数据中得出的结论可以泛化到您定义的总体。 数据转换则涉及转换数据格式、对数据进行归一化和聚合数据等任…

本文是深度学习工程师兼 Python 程序员 Dido Grigorov 撰写的客座文章，他在业界拥有 17 年经验。 聊天机器人的发展已经远远超出单纯问答工具的范畴。 借助大语言模型 (LLM) 的强大功能，它们可以理解对话上下文并生成类似人类的回复，因此对于客户支持应用程序和其他类型的虚拟辅助非常有用。  LangChain 是一个开源框架，通过为无缝模型集成、上下文管理和提示工程提供工具，简化了构建这些对话式聊天机器人的过程。 在这篇博文中，我们将探讨 LangChain 的运作方式以及聊天机器人与 LLM 的交互方式。 我们还将逐步指导您构建一个上下文感知聊天机器人，这个聊天机器人使…

情感分析是最流行的文本分析方式之一。 它能让我们直观地了解人们在多种领域的感受，并在客户服务、市场与产品研究以及竞争分析等方面具有实际应用。 像其他自然语言处理 (NLP) 领域一样，情感分析也可能会有些复杂。 好在 Python 拥有出色的软件包和工具，使 NLP 的这一分支更易理解。 在这篇博文中，我们将探讨一些最流行的 Python 情感分析软件包、它们的运作方式，以及如何使用前沿技术训练您自己的情感分析模型。 我们还将分析一些使这些软件包更易用、更快速的 PyCharm 功能。 什么是情感分析？ 情感分析是分析一段文本以确定其情绪基调的过程。 从这个定义中您可能可以看出，情感分析领域非…

生成式 AI 和 LLM 是今年的热门主题，但它们是否正影响数据科学和机器学习的发展趋势？ 数据科学领域有哪些新趋势值得关注？ JetBrains 每年都会与 Python Software Foundation 合作开展 Python 开发者调查，该调查将为这些问题提供一些有用的洞察。 最新一期调查的结果在 2023 年 11 月到 2024 年 2 月之间收集，新增了数据科学部分。 此部分更全面地提供了过去一年的数据科学发展趋势，并强调了 Python 在这一领域的重要性。  虽然有 48% 的 Python 开发者会参与数据探索和处理，但使用 Python 进行数据分析的受访者百分比却…

Jupyter Notebook 允许您通过按顺序创建和共享数据、方程和可视化效果来讲述故事，并在您浏览 Notebook 时提供支持性叙述。 PyCharm Professional 中的 Jupyter Notebook 提供了比基于浏览器的 Jupyter Notebook 更多的功能，例如代码补全、动态绘图和快速统计，以帮助您快速有效地探索和处理数据。   我们来看看在 PyCharm 中使用 Jupyter Notebook 实现您的目标的 7 种方式。 它们是： 创建或连接到现有的 Notebook 导入数据 熟悉您的数据 使用 JetBrains AI Assistant  使…

探索 Polars 和 Pandas 这两种数据处理工具之间的主要区别，看看哪种框架最适合您的数据处理需求。

在数据科学之旅中，您迟早会遇到需要从数据库中获取数据的情况。 然而，从将本地存储的 CSV 文件读入 pandas 到连接和查询数据库，这可能是一项艰巨的任务。 在一系列博文的第一篇中，我们会探讨如何将存储在 MySQL 数据库中的数据读入 pandas，并查看 PyCharm 中使这项任务更简单的一些功能。 查看数据库内容 在本教程中，我们会将一些关于航空公司延误和取消的数据从 MySQL 数据库读取到 pandas DataFrame 中。 这些数据是 Airline Delays from 2003-2016 数据集的一个版本，该数据集由 Priank Ravichandar 提供…

我们荣幸地宣布，我们的全新数据科学 IDE DataSpell 已正式发布！ DataSpell 是 JetBrains 的新 IDE，专为参与探索性数据分析和 ML 模型原型设计的人员而设计。 DataSpell 在一个符合人体工学的环境中将 Jupyter Notebook 的交互性与 PyCharm 的智能 Python 和 R 编码辅助相结合。 https://youtu.be/iaKX-W3Rj9M DataSpell 提供哪些主要功能？ 首先，DataSpell 支持本地和远程 Jupyter Notebook。 可以直接在 …