Build with AI United 2024 세션 후기

 

2024년 4월 27일 GDG Cloud Korea, GDG Golang Korea, GDG Pangyo에서 연합해 주최한 Build With AI United 2024에 연사로 참여했습니다.

 

Build With AI United 2024는 Google의 AI 관련 지식을 공유하는 Technical Talk와 기술을 직접 사용해볼 수 있는 Hands-on으로 구성된 행사였습니다.

 

이번 행사는 300명 가량의 규모로 구성되었고, 등록자는 320명이었으며, 최종 280명의 참여자분들과 함께 했습니다.

 

저는 이 행사의 6개 Technical Talk 중 하나의 연사를 맡게 되어 Google Cloud에서 LLM을 배포하는 방법에 관한 주제로 40분 가량 세션을 진행했습니다.

 

개인적으로는 이 행사에서 가장 많은 것을 느끼고 배우게 된 것은 제가 아닐까 싶습니다.

 

AI에 대한 큰 관심과 열정을 보면서 세션을 진행한 연사자들은 물론, 280명의 참여자 분들께도 많은 것을 느끼고 배우게 된 행사였습니다.

 

 

 

 

제가 이 행사에 참여하게 된 계기는 Build with AI United의 Organizer인 성민님께서 이번 행사의 발표자로 저를 추천해주신 것이었습니다.

 

작년 GDE가 되고서 아직 아무 활동도 하지 않았던 저는 이번이 GDE로써 활동할 수 있는 좋은 기회라고 생각해 선뜻 세션을 맡았습니다.

 

처음에는 이 행사의 주제가 Google과 관련된 AI라는 것을 보고 적지 않은 부담을 느꼈습니다.

 

그 이유의 첫번째로 행사에 참여한 분들의 AI와 관련된 Level을 가늠하기 어려워 발표 수준을 결정하는데 허들이 있었고,

 

두번째로 저는 Cloud 분야의 GDE이기 때문에 전문성을 살리면서 행사의 목적을 유지하기 위해선 Cloud와 AI라는 두 가지 Domain을 고려한 주제를 선정해야 했기 때문입니다.

 

계속해서 이에 대한 고민을 하던 중, 올해 3월에 진행한 Kubecon 2024을 하나씩 감상하는데 대부분의 세션이 LLM과 관련된 주제로 이루어져 있는 것을 발견했습니다.

 

저는 여기서 힌트를 얻어 현재 AI Developer들이 주로 고민하고 있는 주제는 LLM과 관련된 플랫폼, 인프라, 배포에 대한 것이 아닐까? 라는 생각으로 이어졌습니다.

 

마침 최근 Google에서 발표한 Gemini, Gemma가 큰 관심을 받고 있는 LLM이었기 때문에, 이에 대한 주제를 가져가면 되겠다는 결론을 내렸습니다. 

 

 

 

Build With AI 2024 웹에 배포된 발표 소개

 

결과적으로 제가 선정했던 주제는 "Google Cloud와 함께 구현하는 쉽고 효율적인 LLM 배포" 였습니다.

 

Google Cloud의 인프라와 기술을 사용해서 LLM을 배포하는 방법에 대한 주제였으며, 특히 GCP에서 제공하는 GKE 플랫폼을 사용해 모델을 배포하는 방법에 집중했습니다.

 

배포에 사용한 모델은 Gemma로, Gemma의 가볍고 뛰어난 성능이 Kubernetes 플랫폼에서 배포하고 사용하기 적절하다 생각해 결정했습니다.

 

이 주제가 저의 Cloud 분야의 전문성을 살리면서, DevOps 엔지니어인 현업에서의 경험을 기반으로 AI에 대한 지식을 공유할 수 있다고 생각했습니다.

 

 

 

행사 당일 세션을 진행 중인 모습. 레이저 포인터를 준비해주셔서 요긴하게 사용했습니다.

 

주제를 정한 뒤, 약 2주 간 세션에 사용할 발표 자료와 DEMO를 준비했습니다. 항상 그랬지만 현업과 함께 병행하는 것이 쉽지 않았습니다..

 

행사 당일이 오고, 저는 행사장인 강남 SC센터에 미리 도착해 마지막 발표 및 리허설 준비를 했습니다.

 

행사장 분위기는 생각보다 분주했는데, Staff로 지원해주셨던 GDSC 분들이 많은 도움을 주셔서 수월하게 준비를 마칠 수 있었습니다.

 

시작 시간이 다가오자 많은 참여자 분들이 토요일 휴일임에도 불구하고 행사에 참여해주셔서, AI에 대한 학생 및 현업 종사자 분들의 큰 관심을 느낄 수 있었습니다.

 

제 발표 시간에 앞서 다른 연사자 분들의 세션에 참가했습니다.

 

연사자 분들이 각자의 영역에서 뛰어난 기술과 경험을 바탕으로 구성한 발표를 보고 많은 자극을 받았습니다.

 

 

 

Demo를 시연 중인 모습. 이후의 사태는 예상하지 못한채..

 

제 발표는 행사 당일 13:30부터 약 40분 가량 진행되었습니다.

 

발표는 큰 사고나 돌발 상황 없이 준비했던 자료를 바탕으로 잘 진행했습니다.

 

다만 발표 직전에도 체크했던 Demo가 발표 당시 잘 동작하지 않아 이 점은 매우 아쉬웠습니다.

 

Gemma 컨테이너 이미지가 3분 넘게 ContainerCreating 상태에서 진행되지 않아 결국 Gemma 모델과 Gradio를 사용해 직접 대화형 프롬프트를 작성해보는 Demo는 시연하지 못하고 세션을 마쳐야 했습니다.

 

실패의 이유는 GKE 위에 배포해야 하는 Gemma 컨테이너 이미지가 용량이 크기 때문에 띄우는 시간이 오래 걸리는데, 이를 감안해 Node에 미리 배포해 Caching해놨지만 발표를 진행하며 Cache가 만료된 것이 원인이 아닐까 추측합니다.

 

Demo 체크는 꼭 발표 직전에 해야한다는 교훈을 얻을 수 있었습니다..

 

그래도 세션 진행 중에 제가 전달하고자 하는 바는 모두 전달할 수 있었던 것이 다행이었습니다.

 

 

 

약 280명의 참가자 분들과 함께 발표를 진행한 모습. 많은 분들의 열기가 느껴졌습니다.

 

 

어떤 분야에서 전문가가 되려면 2가지가 필요하다고 합니다.

 

첫번째는 반복적인 학습입니다. 특정 기술과 지식을 반복적으로 학습하는 것이 점진적으로 발전할 수 있는 방법이라고 합니다.

 

하지만 반복적인 학습만으로는 진정한 의미의 전문가가 될 수 없다고 합니다.

 

두번째 요소는 익숙치 않은 환경의 노출입니다.  

 

반복된 편안함에 안주하지 않고 의도적으로 낯선 환경에 자신을 노출시키는 것이 전문성 여부를 중요한 가르는 요소라고 합니다.

 

익숙한 환경에서 자주 접한 기술과 지식을 반복하기만 하면 평범한 기술자가 될 수 밖에 없지만, 익숙치 않은 환경과 지식을 마주하면 다양한 시각과 깊은 전문성을 지닌 전문가가 될 수 있기 때문입니다.

 

이번 행사를 통해 현업에서 수행하던 작업의 틀을 깨고 300명 앞에서 제가 말하고자 하는 바를 전달하는 익숙치 않은 경험을 할 수 있었습니다.

 

이런 이유로 이번 행사를 통해 참여자 분들이 저에게서 얻은 것보다, 제가 참여자 분들께 얻어간 것이 더 많다고 느꼈습니다.

 

다음에도 제 지식과 경험을 공유할 수 있는 기회가 오면 많은 분들께 이러한 지식을 나누고자 합니다.