빅데이터 관련 시리즈의 두 번째 게시물입니다. 이번 글에서는 빅데이터를 사용하는 사람들의 직무를 살펴볼 예정입니다. 모든 빅데이터 직무는 데이터가 중심이지만 직무별로 상당히 큰 차이가 있습니다. 대상 직무를 보다 잘 이해할 수 있도록 주요 포인트를 살펴보겠습니다.
빅데이터의 세계, 1부: 정의
이 게시물
빅데이터의 세계, 3부: 데이터 파이프라인 구축
빅데이터의 세계: 4부. 아키텍처
빅데이터의 세계, 5부: CAP Theorem
목차
데이터 엔지니어
데이터 과학자
머신 러닝 엔지니어
결론
데이터 엔지니어
저는 데이터 엔지니어 직무를 설명할 때 파이프라인의 은유를 즐겨 사용합니다. 데이터 엔지니어는 소스에서 대상까지 파이프라인을 구축하는 역할을 합니다. 빅데이터를 다룰 때 많은 운영 데이터베이스(DB) 및 기타 데이터 소스가 필요하며 이는 불가피한 것으로 확인되었습니다. 데이터는 결합 및 처리가 가능한 경우에만 적절히 활용될 수 있습니다.
데이터 엔지니어는 파이프라인 구축 작업 외에도 일반적으로 데이터 웨어하우스(DWH) 구축을 담당합니다. 데이터 웨어하우스는 회사에서 언젠가 필요할 수 있는 모든 데이터를 저장하는 방
