AWS re:Invent 2023 - The future of Amazon EKS (CON203)

AWS Events·AWS re:Invent 2023 2023·2023년

AI 요약

AWS re:Invent 2023의 CON203 세션으로, AWS의 Kubernetes 제품팀과 Slack·anthropic이 함께 EKS의 현재와 미래 방향을 짚는다. 왜 기업이 쿠버네티스를 쓰는지부터 EKS의 가용 범위·버전 최신성·보안, 그리고 대규모 운영·ML 워크로드 사례까지 폭넓게 다룬다.

핵심 포인트

Slack은 EKS 위 사내 PaaS Bedrock으로 '단 하나의 yaml' 배포를 구현하고 Carpenter로 비용·복구를 개선, 앱의 80%를 EKS에서 운영
버전 지연을 240일→42일로 단축, extended support(최대 26개월), pod identity·cluster access management·eBPF 기반 VPC CNI network policy 등 보안 강화
ACK로 AWS 리소스를 쿠버네티스 API로 관리, agentless Prometheus·Carpenter, anthropic은 상태를 S3로 빼고 spot으로 OnDemand 대비 연 40% 절감

왜 읽나EKS로 대규모 워크로드(특히 ML/AI)를 운영·최적화하려는 플랫폼·인프라 엔지니어에게 실전 사례와 신규 기능이 풍부하다.

챕터별 상세

010:00 – 8:00

왜 Kubernetes인가, 그리고 EKS의 규모

AWS 쿠버네티스 제품팀을 이끄는 Nathan Tabber 가 'CON203 — The future of Kubernetes at AWS' 세션을 연다. 게스트로 Slack의 Alex Dimitri, anthropic의 Nova Sharma 를 소개하며, AWS가 하는 일은 거의 전부 고객 수요에서 나오므로 방향을 보려면 고객 이야기를 들어야 한다고 말한다. CNCF 설문에서 엔터프라이즈 64%가 프로덕션에 쿠버네티스를 쓰고 25%가 평가 중인데, 왜 쓰는지를 네 가지로 정리한다 — 더 나은 혁신(빠르고 안전한 변경), 고정비 절감(정적 자원에서 동적 공유 자원으로), 조직 전체의 표준화(여러 리전·클라우드에 일관된 API), 리스크 감소(tech debt).

EKS 가 정식 출시 5주년을 맞으며, CNCF 데이터 기준 다른 어디보다 많은 워크로드가 AWS에서 돌고 매주 수십억 EC2 인스턴스 시간이 EKS로 실행된다. 레거시 이전·데이터 처리·웹 프런트부터 ML/AI(생성형 AI·로보틱스·자율주행)까지 쓰임새가 넓다. CNCF 카탈로그 599개 프로젝트와의 호환을 보장하는 오픈 표준 유지를 핵심 목표로 들고, EKS가 region 외 outposts·local zones·EKS Anywhere·Snow까지 확장됐으며 2018년 이후 222건+ 출시를 했다고 밝힌다.

Alex Dimitri 가 Slack의 EKS 도입 여정을 이야기한다. 과거 VM 기반에 Chef 로 구성 관리를 했는데 OS 업그레이드·GovSlack 출시가 큰 toil을 안겼고, 모놀리식 IaC는 테스트가 어려워 개발자가 확신 없이 코드를 내보냈다. 이를 풀려 복잡성을 추상화하면서도 신뢰성·확장성을 지키는 사내 PaaS Bedrock 을 EKS 위에 만들었다. '단 하나의 yaml'(약 17줄)이 Docker 이미지 빌드·게시로 번역되고 Jenkins 파이프라인이 특정 클러스터로 배포 후 서비스 디스커버리에 등록한다. 소프트웨어 정의 방화벽 Nebula 준수를 위해 자체 EC2 노드를 운영하고, 모든 노드는 불변(immutable)으로 14일을 넘기지 않으며 Carpenter 와 카오스 엔지니어링으로 자신감을 높였다.

Carpenter 는 pod 요구에 맞춰 노드를 동적 할당해 bin packing·right-sizing으로 청구를 크게 아꼈고, autoscaling group을 건드려 클러스터가 죽는 사고를 없앴다. 노드 교체가 빨라 초·분 단위로 복구되고, 클러스터 업그레이드는 10·25·50·100% 롤아웃과 sandbox→canary→dev→prod soak를 거친다. 현재 Slack 앱의 80%가 Bedrock·EKS에서 돌며, zonal 리밸런싱으로 DR을, Kubecost 로 서비스별 차지백을 구현했다.

Nathan 이 다시 나와 이제 모든 AWS 리전에서 EKS를 쓸 수 있고(올해 첫 신규 리전 Tel Aviv) 32개 리전·102개 AZ·local/wavelength zone에 더해 outposts·EKS Anywhere(Snow, Tinkerbell 베어메탈)로 엣지까지 닿는다고 강조한다. 버전 최신성도, 1년 전 업스트림 대비 약 240일 지연을 자동화 스위트로 올해 네 버전을 출시하며 42일 로 줄였고, 14개월 지원으로 부족하다는 피드백에 extended support 로 1.23부터 최대 26개월까지 보안 패치를 받게 했다.

보안 출시로는 pod에 IAM 역할을 주는 AWS pod identity(기존 IRSA가 oidc provider·역할 수백 개로 불어나던 문제를 EKS가 자격 증명을 직접 발급해 중앙 매핑, session tag 기반 동적 인가)와, 클러스터로 들어오는 접근을 위한 cluster access management(aws-auth config map 제거, EKS API로 RBAC 관리), 그리고 Cilium·Calico 없이 VPC CNI에 eBPF 데이터 플레인 을 넣어 네이티브 네트워크 정책과 VPC security group을 통합한 VPC CNI network policy(GA)를 소개한다. 대규모 운영을 위한 AMS Accelerate for EKS 도 함께 든다.

AWS 서비스를 쿠버네티스로 쓰려는 요구에 맞춰 ACK(AWS Controllers for Kubernetes) 를 소개한다. 쿠버네티스 API로 DB·스토리지·sqs 같은 AWS 리소스를 프로비저닝·관리하며 Helm chart 안에서 선언하고(현재 21개 GA·11개 프리뷰, eventbridge·sqs·SNS 추가), 클러스터에서 도는 것의 약 60%가 보조 워크로드라며 출시 전 커스텀 값·Marketplace 구독·EFS CSI·GuardDuty를 넓힌 eks add-ons 를 개선한다. 관측으로는 컨테이너·EKS 전용 enhanced CloudWatch observability 와 완전 서버리스 agentless Prometheus metrics collection(원클릭, AMP로 내보냄)을 든다. Carpenter 는 Sig autoscaling에 기여해 CNCF 프로젝트의 일부가 됐고 노드 25~40% 감축 사례로 노드 오토스케일링의 표준이 될 것이라 본다.

마지막으로 Nova Sharma 가 anthropic 사례를 발표한다. Claude 같은 시스템을 학습·데이터·추론까지 모두 쿠버네티스에서 돌리며, 학습 시 개별 오브젝트가 수만 개 pod까지 확장되고 Carpenter로 spot EC2를 dask·Spark에 프로비저닝해 비용을 최적화한다. 특히 상태를 S3 로 빼 모델 체크포인트·평가의 단일 진실 소스로 삼고 PV 동기화를 없애 데이터와 애플리케이션을 따로 확장하며, OnDemand 대비 연 40% 비용을 절감했다. '단순하게 시작하라', 'preemption에 대비하라', '비동기로 생각하고 S3를 throughput bound로 쓰라' 같은 팁을 전하는 대목에서 자막이 끊긴다.