Speaker
Description
AI 모델을 서비스에 도입하려 할 때 가장 먼저 마주하는 벽은 'GPU 인프라 구축'과 '감당하기 힘든 비용'입니다. 본 세션에서는 거창하고 복잡한 MLOps 플랫폼 이야기 대신, Ubuntu 개발자와 인프라 엔지니어가 내일 당장 실무에 적용할 수 있는 "컨테이너 기반의 실전 AI 인프라 구축기"를 공유합니다.
AWS 환경에서 검증된 Ubuntu 기반 인프라를 시작으로, Docker를 통해 환경 의존성을 깨끗하게 제거하는 방법, 그리고 Amazon EKS와 Karpenter를 결합해 복잡한 GPU 워크로드를 유연하고 탄력적으로 오케스트레이션하는 아키텍처 패턴을 소개합니다. 특히 현업에서 가장 민감한 GPU 클라우드 비용을 Spot 인스턴스와 MIG(Multi-Instance GPU), GPU time-slicing 등의 기술에 따른 상세한 내용을 들으실 수 있습니다.
다루는 내용
: AI 워크로드에서 Ubuntu를 선택하는 이유
: GPU 인스턴스 유형별 선택 기준 (학습 vs 추론)
: Docker 컨테이너로 CUDA 환경을 사용하는 방법
: Amazon EKS + Karpenter로 GPU 워크로드 오케스트레이션
: 학습된 모델을 컨테이너 기반으로 추론 서빙하는 패턴
: Spot, MIG, GPU time-slicing을 활용한 비용 최적화 전략
청중이 얻어갈 것
: Ubuntu + 컨테이너 기반 GPU AI 파이프라인의 전체 아키텍처 레퍼런스
: EKS + Karpenter GPU 워크로드 오케스트레이션 모범 사례
: 바로 적용 가능한 GPU 비용 절감 전략 (Spot, MIG, time-slicing)
발표자 소개 Biography
Amazon Web Services에서 컨테이너 스페셜리스트로 일하고 있는 최영락입니다. 엔터프라이즈 앱에 대한 마이그레이션 및 현대화 여정에서 컨테이너 기술이 비즈니스에 보탬이 될 수 있도록 고민하며 돕고 있습니다.
청중 사전 지식 Prior knowledge for audience
사전 지식
Linux 터미널 및 Docker 컨테이너 기본 사용 경험, Kubernetes 개념에 대한 기초적인 이해가 있으면 더 좋습니다.
| 난이도 Difficulty | Intermediate 중급 |
|---|---|
| 행동 강령 Code of Conduct | 확인 Confirm |