PyCharm

지금까지 이 데이터 과학 블로그 시리즈에서는 데이터를 어디에서 얻고, pandas로 데이터를 어떻게 탐색하는지 논의했습니다. 하지만, 그러한 데이터는 학습하기에는 좋지만 실제 데이터와는 차이가 있습니다. 학습용 데이터는 빠르게 학습할 수 있도록 이미 정리되고 선별된 경우가 많아 데이터 정리가 필요 없는 경우가 많지만, 실제 데이터에는 여러 문제가 있으며 정리가 잘 되어 있지 않습니다. 실제 데이터에서는 유용한 인사이트를 얻기 전에 정리가 필요합니다. 이 블로그 글에서는 바로 그 주제를 다뤄보겠습니다.  데이터 문제는 데이터 자체의 …

데이터에서 중요한 문제나 숨겨진 기회를 드러낼 수 있는 비정상적인 패턴을 어떻게 식별할 수 있을까요? 이상 탐지는 정상에서 벗어난 데이터를 식별하는 데 도움이 됩니다. 시계열 데이터는 시간의 추이에 따라 수집된 데이터로 구성되어 있으며, 추세와 계절성 패턴이 포함된 경우가 많습니다. 시계열 데이터의 이상은 이러한 패턴이 깨질 때 발생하기에 이상 탐지는 영업, 금융, 제조, 의료와 같은 산업에서 중요한 도구가 됩니다. 시계열 데이터는 계절성이나 추세와 같은 고유한 특성을 가지고 있기 때문에 이상치를 효과적으로 탐지하기 위해서는 전문적…

최근 몇 년 사이, 우리가 수집하고 처리할 수 있는 방대한 데이터가 수많은 애플리케이션의 기반이 되고 있습니다. 누군가는 지금을 데이터의 시대라고 표현하기도 합니다. 이러한 대량의 데이터를 처리하는 데 핵심적인 요소 중 하나는 이상 탐지로, 이는 특이값, 즉 예상 범위를 벗어난 데이터를 식별하고 정상에서 벗어난 동작을 입증할 수 있는 프로세스입니다. 과학 연구에서 이상 데이터 포인트는 기술적 문제의 원인이 될 수 있으며 결론을 도출할 때 폐기해야 할 수도 있고, 새로운 발견으로 이어질 수도 있습니다. 이 블로그 게시물에서는 이상 탐…

감정 분석이란 매우 인기 있는 텍스트 분석법 중 하나입니다. 감정 분석으로 다양한 영역에서 사용자들이 어떻게 느끼는지 한눈에 파악할 수 있으며, 이는 고객 서비스, 시장/제품 조사 및 경쟁사 분석 등과 같은 분야에 유용하게 활용할 수 있습니다. 다른 자연어 처리(NLP) 분야와 마찬가지로 감정 분석도 복잡해질 수 있습니다. 다행히도 Python에는 이러한 NLP 분야에 더욱 쉽게 접근할 수 있도록 도와주는 탁월한 패키지와 도구가 있습니다. 이번 블로그 글에서는 Python으로 감정 분석을 하는 데 쓸 수 있는 인기 패키지와 그 작동…

이 글은 딥러닝 엔지니어이자 17년의 경력을 보유한 Python 프로그래머인 Dido Grigorov가 기고했습니다. 챗봇은 이제 단순한 Q&A 도구 이상으로 발전했습니다. 대형 언어 모델(LLM)을 활용하여 대화의 맥락을 이해하고 인간과 비슷한 답변을 생성할 수 있어 고객 지원 분야 및 기타 가상 지원 분야에서 매우 유용하게 사용되고 있습니다. 오픈 소스 프레임워크인 LangChain은 원활한 모델 통합, 컨텍스트 관리 및 프롬프트 엔지니어링용 도구를 다양하게 제공하여 대화형 챗봇의 구축 과정을 간소화합니다. 이 블로그 …

지난 해에 Python DataFrame의 발전을 지켜보신 분이라면 대규모 데이터세트 작업용으로 설계된 강력한 DataFrame 라이브러리인 Polars를 들어보셨을 겁니다. PyCharm에서 Polars를 사용해 보세요 Spark, Dask나 Ray와 같은 다른 대용량 데이터세트 라이브러리와는 달리 Polars는 한 대의 시스템에서 사용되도록 설계되었기 때문에 pandas와 유사한 것으로 많이 비교됩니다. 그러나 Polars는 데이터 처리 방식이나 최적의 적용 분야 등과 같이 여러 중요한 부분에서 pandas와 차이점이 있습니다…

올해의 화제는 생성형 AI와 LLM이었습니다. 그렇다면 이 두 가지가 데이터 과학과 머신러닝 동향에도 영향을 주었을까요? 데이터 과학의 새로운 동향 중 따를 만한 것은 무엇일까요? 매년 JetBrains는 Python Software Foundation과 협업하여 이러한 질문에 관한 인사이트를 제공하는 Python 개발자 설문조사를 실시합니다. 최근에 실시된 설문조사 결과는 2023년 11월부터 2024년 2월 사이에 수집되었으며, 데이터 과학 섹션이 추가되었습니다. 이를 통해 지난 한 해 동안 데이터 과학의 전체적 동향을 더 정확…

데이터 과학 작업을 하다 보면 데이터베이스에서 데이터를 가져와야 할 때가 있습니다. 그러나 로컬에 저장된 CSV 파일을 읽다가 pandas로 넘어가 데이터베이스에 연결하여 쿼리하는 작업은 진행하기 부담스러울 수 있습니다. 시리즈의 첫 번째인 이번 블로그 글에서는 MySQL 데이터베이스에 저장된 데이터를 pandas로 불러오는 방법을 알아보고 이 과정을 더 쉽게 처리할 수 있도록 도와주는 유용한 PyCharm 기능을 살펴봅니다. 데이터베이스 콘텐츠 조회 이번 튜토리얼에서는 MySQL 데이터베이스에 있는 항공편 지연 및 결항 데이…

새로운 데이터 과학 IDE인 DataSpell이 공식 출시되었다는 기쁜 소식을 알려 드립니다! DataSpell은 탐색적 데이터 분석 및 ML 모델 프로토타이핑 작업에 특화된 새로운 JetBrains IDE입니다. Jupyter Notebook의 대화형 기능과 PyCharm에서 제공하는 Python 및 R에 대한 지능적인 코딩 지원 기능을 하나의 인체공학적 환경으로 결합했습니다. DataSpell의 주요 기능은 무엇일까요? 무엇보다도 DataSpell은 로컬 및 원격 Jupyter Notebook을 모두 지원합니다. 기존 웹 …