Gitlab CI/CD는 Continuous Intergration, Delivery.. 등의 파이프라인을 Gitlab과 연동해 사용하게끔 해주는 소프트웨어 툴입니다. Gitlab과 GItlab CI/CD의 연동을 통해서 GItlab repository에 저장된 코드를 바탕으로 다양한 Continuous 방법론을 사용할 수 있습니다. Terraform은 기존에 GUI, 혹은 명령어로 생성해야 했던 클라우드 리소스를 코드로써 관리할 수 있게끔 해주는 툴입니다. 두 소프트웨어를 연동함으로써 Gitlab repository에 저장된 테라폼 코드를 수정 -> Commit -> Push 하는 것만으로 리소스가 실제로 배치될 수 있도록 할 수 있습니다. 이번 포스팅에서는 VS code에서 Terrafom을 GItl..
Gitlab은 CI/CD 기능이 뛰어난 git repository 소프트웨어입니다. 같은 서비스를 제공하는 제품으로 GIthub이 있지만, 무료 버전에서 Private 작업자 수 제한이 없다는 점, Self-managed 버전을 제공한다는 장점이 있어서 GCP 인프라에 올릴 자체 깃 서버로 Gitlab을 선택하게 되었습니다. 추가적으로 자체 CI/CD 기능과 Kubernetes와의 연동도 제공한다는 점 덕분에 Kubernetes 클러스터에 올릴 코드를 관리하는데에는 Gitlab이 더 낫다는 판단을 했습니다. 그래서 이번 포스팅에서는 GCP 환경에서 GCE VM instance에 GItlab 서버를 구축하는 방법을 기록하려고 합니다. 1. VM instance 생성 우선 Gitlab이 올라갈 vm의 Har..
저번 AZ-900 시험에 이어 Azure의 2번째 시험 AZ-303도 무사히 통과했습니다. AZ-303은 Azure의 SA 분야 Pro등급 자격증인 Azure Solutions Architect를 취득하기 위해 합격해야 하는 2개의 시험 중 1개입니다. 타 벤더(AWS,GCP..)의 SA 분야 자격들은 모두 하나의 시험만 합격하면 자격증을 발급했으나, Azure는 2번의 시험을 통과해야 하니 취득의 문턱이 더 높은 셈이죠. 그렇다고 시험의 난이도가 반이냐 하면, 시험을 경험한 결과 그것도 아니었습니다. 난이도에 대한 얘기는 본문에 하겠지만, 시험의 유형과 문제가 타 시험과 다른 점이 많았기 때문에 이것에 적응하는 것만으로도 애를 먹었습니다. 본 포스팅에서는 제가 시험 합격까지 어떻게 준비했는지, 어떤 것..
GCP는 VM 인스턴스의 메타데이터를 메타데이터 서버가 따로 관리하고 있습니다. 우리가 GCP를 사용하다보면 이 메타데이터 서버의 존재를 인지할 수 있는데요. VM 인스턴스에서 트래픽 이동 경로를 확인하다보면 169.254.169.254 주소를 목적지로 하는 경우가 가끔 있는 것을 보신 분들이 있을 겁니다. 혹은 다른 클라우드 서비스에서 인스턴스에 메타데이터 서버를 따로 저장한다는 사실을 알고 계실 수도 있습니다. GCP도 타 클라우드 서비스와 마찬가지로 169.254.169.254 주소가 바로 메타데이터 서버의 주소입니다. 하지만 메타데이터 서버의 존재만 알고 그 안에 저장된 메타데이터는 무엇이 있는지 모르는 분도 많은 것 같습니다. 이 메타데이터를 활용하면 알기 어려웠던 정보를 알 수 있을 뿐더러 스..
HA VPN 통신이란 IPSec VPN연결을 통해 GCP의 VPC와 On-premise 네트워크를 연결해주는 통신을 말합니다. 우리는 이 VPN을 통해 On-premise는 물론, AWS나 Azure의 VPC 환경과도 연결을 구성할 수 있습니다. 이번 포스팅에는 AWS의 VPC와 GCP의 VPC 을 HA VPN 연결을 통해 구성해보겠습니다. 이 구성을 통해 우리는 두 가상 프라이빗 네트워크 환경에서 외부 IP를 노출시킬 필요 없이 안전하게 연결할 수 있습니다. VPC간 이동하는 트래픽은 퍼블릭 인터넷으로 나가게 된다는 단점이 있지만, IPSec을 통한 암호화 및 인증으로 데이터 노출에 대한 위험 없이 데이터를 주고 받을 수 있습니다. 1. HA VPN이란?? HA VPN은 GCP에서 제공하는 고가용성 V..
여러 벤더 사의 클라우드 환경을 구성하는 사례가 많아지면서 자연스럽게 다기종의 DB들 간 이동 사례가 늘고 있습니다. 특히 AWS RDS에 저장된 데이터를 강력한 분석 기능을 가진 GCP bigQuery에서 분석하고자 하는 수요가 많아지는데요. 이번 포스팅에서는 AWS의 RDB Service인 RDS의 데이터를 GCP의 Data analytics service인 bigQuery에서 분석할 수 있는 방법을 알아보겠습니다. 방법 1. bigQuery의 Federated query 기능을 사용하는 방법 첫번째 방법은 RDS의 데이터를 GCP의 CloudSQL로 옮긴 뒤 bigQuery의 "Federated query" 기능을 사용하는 방법입니다. Federated query는 bigQuery의 스토리지 밖에 ..
1. 서론 왜 Azure를 배워야 할까? 바야흐로 Multi-cloud의 시대가 도래했습니다. AWS, Azure, GCP 혹은 다른 벤더 사의 클라우드 서비스 중 단일 벤더 사만을 선택해 인프라를 구성하는 시대는 끝났다는 것을 뜻합니다. 이제 Cloud 생태계는 단일 Cloud 벤더 사에 종속되기 보다는 여러 벤더 사의 서비스를 비교해 원하는 것만을 취사선택해 사용하는 쪽으로 발전하고 있습니다. 이를 발전시킨 개념이 Multi-cloud architecture입니다. 이는 하나의 클라우드 인프라에 여러 벤더 사의 Cloud Asset들을 이용해 구성한 아키텍쳐를 뜻하는 새로운 패러다임의 개념입니다. 위와 같이 단일 네트워크를 구성함에 있어서도 Azure와 AWS의 두 벤더 사를 이용하고 있는 것처럼, ..
2021년 01월 29일 자로 3번째 GCP Certificate인 Professional Data Engineer 자격증을 취득하게 되었습니다. 본 포스팅에서는 GCP PDE Certificate를 취득하게 된 이유와 과정을 서술합니다. 다른 GCP Certificate인 Professional Cloud Architect, Professional Network Engineer에 대한 포스팅도 본 블로그에서 다루고 있습니다. GCP 자격증들에 대한 전반적인 정보는 본 포스팅보다 위의 포스팅에서 더 자세하게 다루고 있습니다. GCP Professional Data Engineer란? GCP PDE는 Data를 수집하고, 변형하고, 적재하는 모든 행위와 관련된 의사결정을 할 수 있는지 검증하는 자격증입니다..
Network 인프라를 운영하는데 있어서 가장 중요한 행위 중 하나는 Monitoring, 즉 지속적으로 Network의 performance나 failing 여부를 감시하는 것입니다. 하지만 현재의 Network 트렌드는 MSA(Micro Service Architecture), Multi-tire architecture처럼 단일 구조보다는 여러 개의 분산된 구조의 아키텍쳐를 구성하는 것입니다. 때문에 Network상에서 감시해야 할 요소와 경로들이 점점 더 많아지고 복잡해지는 양상을 띄고 있습니다. 이러한 상황에서 더 고도화되고 발전된 성능의 Monitoring tool을 사용하는 것이 피할 수 없는 흐름이 되었습니다. 특히 Network 구성요소의 배치가 유연하고 더 변화무쌍한 Cloud 환경에서 ..
1. Data Pipeline이란 Data의 홍수라고 불러도 될 만큼 정보가 넘쳐나는 시대에서, 어떤 Data를 어떻게 처리하는지에 대한 관심과 필요성은 날로 증대되어왔습니다. 이렇게 Big data, Data analytics에 사용되는 Data processing이 이제는 하나의 중대한 과제로 떠오르면서 Data pipeline이라고 불리우는 개념이 등장했습니다. Data pipeline은 Data analysis를 위해 Input data를 받아 다른 Output으로 병렬, 혹은 직렬적으로 처리해 최종적으로 Storage에 저장하는 일련의 과정을 뜻합니다. ETL(Extract, Transform, Load) Process라고도 하는 이 Data processing 과정을 처리하기 위해 Date p..
