GCP는 VM 인스턴스의 메타데이터를 메타데이터 서버가 따로 관리하고 있습니다. 우리가 GCP를 사용하다보면 이 메타데이터 서버의 존재를 인지할 수 있는데요. VM 인스턴스에서 트래픽 이동 경로를 확인하다보면 169.254.169.254 주소를 목적지로 하는 경우가 가끔 있는 것을 보신 분들이 있을 겁니다. 혹은 다른 클라우드 서비스에서 인스턴스에 메타데이터 서버를 따로 저장한다는 사실을 알고 계실 수도 있습니다. GCP도 타 클라우드 서비스와 마찬가지로 169.254.169.254 주소가 바로 메타데이터 서버의 주소입니다. 하지만 메타데이터 서버의 존재만 알고 그 안에 저장된 메타데이터는 무엇이 있는지 모르는 분도 많은 것 같습니다. 이 메타데이터를 활용하면 알기 어려웠던 정보를 알 수 있을 뿐더러 스..
HA VPN 통신이란 IPSec VPN연결을 통해 GCP의 VPC와 On-premise 네트워크를 연결해주는 통신을 말합니다. 우리는 이 VPN을 통해 On-premise는 물론, AWS나 Azure의 VPC 환경과도 연결을 구성할 수 있습니다. 이번 포스팅에는 AWS의 VPC와 GCP의 VPC 을 HA VPN 연결을 통해 구성해보겠습니다. 이 구성을 통해 우리는 두 가상 프라이빗 네트워크 환경에서 외부 IP를 노출시킬 필요 없이 안전하게 연결할 수 있습니다. VPC간 이동하는 트래픽은 퍼블릭 인터넷으로 나가게 된다는 단점이 있지만, IPSec을 통한 암호화 및 인증으로 데이터 노출에 대한 위험 없이 데이터를 주고 받을 수 있습니다. 1. HA VPN이란?? HA VPN은 GCP에서 제공하는 고가용성 V..
여러 벤더 사의 클라우드 환경을 구성하는 사례가 많아지면서 자연스럽게 다기종의 DB들 간 이동 사례가 늘고 있습니다. 특히 AWS RDS에 저장된 데이터를 강력한 분석 기능을 가진 GCP bigQuery에서 분석하고자 하는 수요가 많아지는데요. 이번 포스팅에서는 AWS의 RDB Service인 RDS의 데이터를 GCP의 Data analytics service인 bigQuery에서 분석할 수 있는 방법을 알아보겠습니다. 방법 1. bigQuery의 Federated query 기능을 사용하는 방법 첫번째 방법은 RDS의 데이터를 GCP의 CloudSQL로 옮긴 뒤 bigQuery의 "Federated query" 기능을 사용하는 방법입니다. Federated query는 bigQuery의 스토리지 밖에 ..
1. 서론 왜 Azure를 배워야 할까? 바야흐로 Multi-cloud의 시대가 도래했습니다. AWS, Azure, GCP 혹은 다른 벤더 사의 클라우드 서비스 중 단일 벤더 사만을 선택해 인프라를 구성하는 시대는 끝났다는 것을 뜻합니다. 이제 Cloud 생태계는 단일 Cloud 벤더 사에 종속되기 보다는 여러 벤더 사의 서비스를 비교해 원하는 것만을 취사선택해 사용하는 쪽으로 발전하고 있습니다. 이를 발전시킨 개념이 Multi-cloud architecture입니다. 이는 하나의 클라우드 인프라에 여러 벤더 사의 Cloud Asset들을 이용해 구성한 아키텍쳐를 뜻하는 새로운 패러다임의 개념입니다. 위와 같이 단일 네트워크를 구성함에 있어서도 Azure와 AWS의 두 벤더 사를 이용하고 있는 것처럼, ..
2021년 01월 29일 자로 3번째 GCP Certificate인 Professional Data Engineer 자격증을 취득하게 되었습니다. 본 포스팅에서는 GCP PDE Certificate를 취득하게 된 이유와 과정을 서술합니다. 다른 GCP Certificate인 Professional Cloud Architect, Professional Network Engineer에 대한 포스팅도 본 블로그에서 다루고 있습니다. GCP 자격증들에 대한 전반적인 정보는 본 포스팅보다 위의 포스팅에서 더 자세하게 다루고 있습니다. GCP Professional Data Engineer란? GCP PDE는 Data를 수집하고, 변형하고, 적재하는 모든 행위와 관련된 의사결정을 할 수 있는지 검증하는 자격증입니다..
Network 인프라를 운영하는데 있어서 가장 중요한 행위 중 하나는 Monitoring, 즉 지속적으로 Network의 performance나 failing 여부를 감시하는 것입니다. 하지만 현재의 Network 트렌드는 MSA(Micro Service Architecture), Multi-tire architecture처럼 단일 구조보다는 여러 개의 분산된 구조의 아키텍쳐를 구성하는 것입니다. 때문에 Network상에서 감시해야 할 요소와 경로들이 점점 더 많아지고 복잡해지는 양상을 띄고 있습니다. 이러한 상황에서 더 고도화되고 발전된 성능의 Monitoring tool을 사용하는 것이 피할 수 없는 흐름이 되었습니다. 특히 Network 구성요소의 배치가 유연하고 더 변화무쌍한 Cloud 환경에서 ..
1. Data Pipeline이란 Data의 홍수라고 불러도 될 만큼 정보가 넘쳐나는 시대에서, 어떤 Data를 어떻게 처리하는지에 대한 관심과 필요성은 날로 증대되어왔습니다. 이렇게 Big data, Data analytics에 사용되는 Data processing이 이제는 하나의 중대한 과제로 떠오르면서 Data pipeline이라고 불리우는 개념이 등장했습니다. Data pipeline은 Data analysis를 위해 Input data를 받아 다른 Output으로 병렬, 혹은 직렬적으로 처리해 최종적으로 Storage에 저장하는 일련의 과정을 뜻합니다. ETL(Extract, Transform, Load) Process라고도 하는 이 Data processing 과정을 처리하기 위해 Date p..
GCP에서는 Debian, CentOS 등의 linux 계열 OS을 이용한 VM instance를 생성할 수 있습니다. Google cloud 환경에서는 Google이 공식적으로 지원하는 OS image를 이용해 VM을 편리하게 이용할 수 있지만, 현재 사용하고 있는 OS Image를 다른 Project나 다른 환경(Ex: AWS, Local..)에서 그대로 사용할 수도 있습니다. 가령 특정 Setting을 변경했거나 Package, Version을 Customize했고 이를 그대로 다른 환경에서 사용하고 싶다면 Image export를 통해 편리하게 이용할 수 있습니다. 단 Windows 기반 OS에 대한 Export는 지원하지 않는 점을 유의하시기 바랍니다. 본 포스팅에서는 Linux계열 OS를 Cu..
여러 개의 GCP VPC를 운영하다 보면 통신하고 있는 GCP VPC 간의 Latency가 만족스럽지 못하거나 보안상의 이유로 패킷이 Public으로 가지 못하도록 하고 싶을 경우가 있을 것입니다. GCP VPC간의 통신을 하고자 하는데 왜 Public internet으로 패킷을 보내야 하지? 라는 의문이 들었던 적이 있었다면, VPC Peering을 통해 이 문제를 해결할 수 있습니다. Peering이란 두 개의 단절된 Network 환경 간에 전송되는 Traffic을 Public으로 보내지 않고 곧바로 상대의 Network 환경으로 보내는 연결 방식입니다. 더 자세히는 Network간에 통상적인 Transit 전송을 이용하지 않고 IXP(Internet exchange point)를 이용한 전송을 사..
Terraform으로 GCP Infrastructure를 운영하는 방법에 대한 두 번째 Topic입니다. 이전 글에서 Terraform으로 어떻게 IaaC(Infrastructure as a Code)방식의 접근으로 DevOps 환경을 구성할 수 있었는지 알아보았습니다. 이번 포스트에서는 GCP official document인 "Google Cloud에서 Terraform 사용" 을 바탕으로 GCP와 Terraform을 어떻게 더 효율적으로 운용할 수 있는지 알아보겠습니다. Reverse Terraforming Tool "Terraformer" 제가 GCP에서 Terraform을 사용하면서 가장 먼저 느낀 불편점은 "기존의 Infrastructure들을 Terraform config으로 가져오기 힘들었..
