빅데이터, 빅데이터를 바라보는 JetBrains의 관점 및 관련 제품 개발과 관련하여 연재 중인 시리즈의 4번째 게시물입니다. 이번 글에서는 데이터 엔지니어의 두 번째 업무인 아키텍처를 살펴볼 예정입니다.
관련 게시물:
빅데이터의 세계, 1부: 정의
빅데이터의 세계, 2부: 직무
빅데이터의 세계, 3부: 데이터 파이프라인 구축
이 게시물
빅데이터의 세계, 5부: CAP Theorem
목차:
스토리지 아키텍처
데이터 처리 아키텍처
기술 스택
결론
빅데이터의 세계, 2부: 직무에서 논의된 바와 같이 데이터 엔지니어의 역할은 데이터 웨어하우스 아키텍처를 구축하는 것입니다. 그러나 정확한 의미는 무엇일까요? “아키텍처”는 엔지니어링에서 남용되는 용어이며, 실제로는 여러 의미를 지니고 있습니다. 특히 데이터 엔지니어링에서 의미는 스토리지 아키텍처와 데이터 처리 아키텍처 두 가지로 분류됩니다.
스토리지 아키텍처
기존 백엔드 엔지니어링에서 스토리지 계층은 일반적으로 매우 단순하며 최대 세 가지 구성 요소(데이터베이스, 캐시 및 파일 스토리지)가 이에 포함됩니다. 데이터베이스는 일반적으로 SQL 또는 NoSQL, 관계형 또는 비관계형 등의 단일 엔티티입니다.
하지만