문서 검색

GenAI on EKS/K8s 인퍼런스 최적화

생성형 AI 워크로드가 쿠버네티스 위에서 운영될 때, 네트워크·스토리지 계층을 포함한 성능 최적화를 직접 체험하고 그 결과를 aws-samples/sample-genai-on-eks-starter-kit 에 기여하는 8주 과정이다.

과정 개요

항목내용
과정명GenAI on EKS/K8s 인퍼런스 인프라 최적화
난이도★★★★☆
활용 언어Terraform(HCL), YAML, Python, Shell Script
활용 기술Kubernetes(Amazon EKS), vLLM, SGLang, LiteLLM, EFA, Mountpoint for S3, Karpenter
기여 대상aws-samples/sample-genai-on-eks-starter-kit (MIT-0)

운영 계획

주차내용
1주차EKS 클러스터 배포, GenAI Starter Kit 설치, Terraform 인프라 분석
2주차vLLM/SGLang 배포, LiteLLM AI Gateway 구성, 모델 서빙 파이프라인 구축
3주차EFA 설정, 멀티노드 분산 추론 네트워크 튜닝, RDMA 고속 통신 구현
4주차Mountpoint for S3 구성, 모델 가중치 로딩 최적화, FSx for Lustre 캐싱
5주차Langfuse/Phoenix 추론 모니터링, 성능 메트릭 수집 및 대시보드 구성
6주차최적화 전/후 Latency·Throughput 비교, 병목 분석
7~8주차개선 사항 문서화, PR 작성·제출, 코드 리뷰 반영 후 Merge

세부 일정 및 내용은 상황에 따라 변경될 수 있음

실습 환경

🛠️

사용하는 기술

  • 클라우드: Amazon EKS (Auto Mode)
  • 추론 엔진: vLLM, SGLang
  • 게이트웨이: LiteLLM
  • 관측: Langfuse, Phoenix
  • 스토리지·네트워크: Mountpoint for S3, FSx for Lustre, EFA
📌

EKS Auto Mode 란?

  • 자동 컴퓨트 프로비저닝: EC2 인스턴스를 수동으로 생성하거나 관리할 필요가 없다.
  • 동적 확장: 워크로드 수요에 따라 용량을 자동으로 조정한다.
  • 패치 관리: OS 및 Kubernetes 컴포넌트 자동 업데이트 지원
  • 비용 최적화: 지능형 인스턴스 선택 및 Spot 인스턴스 통합

노드 풀 구성

  1. general-purpose

    일반 워크로드, 웹 서비스, 제어 플레인 컴포넌트 실행

  2. gpu

    GPU 집약적 AI/ML 워크로드 실행

  3. neuron

    대규모 언어 모델을 위한 최적화된 추론

스토리지 구성

클러스터는 영구 스토리지를 위해 Amazon EFS 를 사용한다.

  • Shared Storage: 여러 Pod 가 동시에 읽기/쓰기 가능
  • Elastic Throughput Mode: 워크로드에 따라 성능을 자동으로 확장
  • Model Caching: 빠른 배포를 위해 EFS 에 저장된 사전 다운로드된 모델
  • Cross-AZ Availability: 여러 가용 영역에 걸친 고가용성

Agentic AI 스택 구성

  1. Open Web UI

    대규모 언어 모델과 상호작용하기 위한 웹 인터페이스

  2. LiteLLM

    여러 LLM 제공자에 대한 단일 인터페이스를 제공하는 통합 API 게이트웨이

  3. Langfuse

    LLM 애플리케이션을 위한 관측성 플랫폼

  4. vLLM

    대규모 언어 모델을 위한 고성능 추론 엔진

학습 모듈

  1. 모듈 1. 모델 상호작용

    k8s 에서 AI 모델 경험하기 — Open WebUI 배포, vLLM·Bedrock 비교

  2. 모듈 2. Agentic AI 플랫폼 컴포넌트

    LiteLLM 게이트웨이, Langfuse 추적, 비용·성능 모니터링

  3. 모듈 3. Agentic AI 애플리케이션 구축

    Loan Buddy 배포, 에이전트 워크플로우 관찰

  4. 모듈 4. 스케일링 및 평가

    LLM-as-a-Judge, A/B 가중치 라우팅, HPA·Karpenter 오토스케일링

  5. 모듈 5. 프로덕션 준비

    Milvus RAG, Pod Identity·Guardrails, 스트리밍 SSE

하위 페이지

📄

모듈1: 모델 상호작용

페이지