data engineering

빅데이터, 빅데이터를 바라보는 JetBrains의 관점 및 관련 제품 개발과 관련하여 연재 중인 시리즈의 4번째 게시물입니다. 이번 글에서는 데이터 엔지니어의 두 번째 업무인 아키텍처를 살펴볼 예정입니다. 관련 게시물: 빅데이터의 세계, 1부: 정의 빅데이터의 세계, 2부: 직무 빅데이터의 세계, 3부: 데이터 파이프라인 구축 이 게시물 빅데이터의 세계, 5부: CAP Theorem 목차: 스토리지 아키텍처 데이터 처리 아키텍처 기술 스택 결론 빅데이터의 세계, 2부: 직무에서 논의된 바와 같이 데이터 엔지니어의 역할은 데이터 웨어하우스 아키텍처를 구축하는 것입니다. 그러나 정확한 의미는 무엇일까요? “아키텍처”는 엔지니어링에서 남용되는 용어이며, 실제로는 여러 의미를 지니고 있습니다. 특히 데이터 엔지니어링에서 의미는 스토리지 아키텍처와 데이터 처리 아키텍처 두 가지로 분류됩니다. 스토리지 아키텍처 기존 백엔드 엔지니어링에서 스토리지 계층은 일반적으로 매우 단순하며 최대 세 가지 구성 요소(데이터베이스, 캐시 및 파일 스토리지)가 이에 포함됩니다. 데이터베이스는 일반적으로 SQL 또는 NoSQL, 관계형 또는 비관계형 등의 단일 엔티티입니다. 하지만

빅데이터와 관련한 JetBrains의 관점 및 제품 개발 방식을 다루는 시리즈의 세 번째 게시물입니다. 데이터 엔지니어의 가장 중요한 업무인 파이프라인 구축에 대한 글입니다.

빅데이터 관련 시리즈의 두 번째 게시물입니다. 이번 글에서는 빅데이터를 사용하는 사람들의 직무를 살펴볼 예정입니다. 모든 빅데이터 직무는 데이터가 중심이지만 직무별로 상당히 큰 차이가 있습니다. 대상 직무를 보다 잘 이해할 수 있도록 주요 포인트를 살펴보겠습니다. 빅데이터의 세계, 1부: 정의 이 게시물 빅데이터의 세계, 3부: 데이터 파이프라인 구축 빅데이터의 세계: 4부. 아키텍처 빅데이터의 세계, 5부: CAP Theorem 목차 데이터 엔지니어 데이터 과학자 머신 러닝 엔지니어 결론 데이터 엔지니어 저는 데이터 엔지니어 직무를 설명할 때 파이프라인의 은유를 즐겨 사용합니다. 데이터 엔지니어는 소스에서 대상까지 파이프라인을 구축하는 역할을 합니다. 빅데이터를 다룰 때 많은 운영 데이터베이스(DB) 및 기타 데이터 소스가 필요하며 이는 불가피한 것으로 확인되었습니다. 데이터는 결합 및 처리가 가능한 경우에만 적절히 활용될 수 있습니다. 데이터 엔지니어는 파이프라인 구축 작업 외에도 일반적으로 데이터 웨어하우스(DWH) 구축을 담당합니다. 데이터 웨어하우스는 회사에서 언젠가 필요할 수 있는 모든 데이터를 저장하는 방