Data pipeline

GCP

GCP Professional Data Engineer Certificate 취득기

2021.02.02

2021년 01월 29일 자로 3번째 GCP Certificate인 Professional Data Engineer 자격증을 취득하게 되었습니다. 본 포스팅에서는 GCP PDE Certificate를 취득하게 된 이유와 과정을 서술합니다. 다른 GCP Certificate인 Professional Cloud Architect, Professional Network Engineer에 대한 포스팅도 본 블로그에서 다루고 있습니다. GCP 자격증들에 대한 전반적인 정보는 본 포스팅보다 위의 포스팅에서 더 자세하게 다루고 있습니다. GCP Professional Data Engineer란? GCP PDE는 Data를 수집하고, 변형하고, 적재하는 모든 행위와 관련된 의사결정을 할 수 있는지 검증하는 자격증입니다..

GCP

GCP Dataflow SQL로 쉽게 Streaming Data를 처리하는 Data pipeline 구성하기

2021.01.09

1. Data Pipeline이란 Data의 홍수라고 불러도 될 만큼 정보가 넘쳐나는 시대에서, 어떤 Data를 어떻게 처리하는지에 대한 관심과 필요성은 날로 증대되어왔습니다. 이렇게 Big data, Data analytics에 사용되는 Data processing이 이제는 하나의 중대한 과제로 떠오르면서 Data pipeline이라고 불리우는 개념이 등장했습니다. Data pipeline은 Data analysis를 위해 Input data를 받아 다른 Output으로 병렬, 혹은 직렬적으로 처리해 최종적으로 Storage에 저장하는 일련의 과정을 뜻합니다. ETL(Extract, Transform, Load) Process라고도 하는 이 Data processing 과정을 처리하기 위해 Date p..

GCP Professional Data Engineer Certificate 취득기

GCP Dataflow SQL로 쉽게 Streaming Data를 처리하는 Data pipeline 구성하기

티스토리툴바