GCP
GCP Dataflow SQL로 쉽게 Streaming Data를 처리하는 Data pipeline 구성하기
1. Data Pipeline이란 Data의 홍수라고 불러도 될 만큼 정보가 넘쳐나는 시대에서, 어떤 Data를 어떻게 처리하는지에 대한 관심과 필요성은 날로 증대되어왔습니다. 이렇게 Big data, Data analytics에 사용되는 Data processing이 이제는 하나의 중대한 과제로 떠오르면서 Data pipeline이라고 불리우는 개념이 등장했습니다. Data pipeline은 Data analysis를 위해 Input data를 받아 다른 Output으로 병렬, 혹은 직렬적으로 처리해 최종적으로 Storage에 저장하는 일련의 과정을 뜻합니다. ETL(Extract, Transform, Load) Process라고도 하는 이 Data processing 과정을 처리하기 위해 Date p..
