pile·
AI / ML·카카오페이kakaopay·

AI 플랫폼 GPU 도입부터 Kubeflow까지 도입기

문제카카오페이의 기존 AI 시스템은 반복적인 수작업·레거시 서빙 파이프라인으로 모델 배포 속도와 안정성이 떨어졌다. 표준화·확장·통합 부재가 기술 부채로 누적.

접근Kubeflow 기반 AI 플랫폼을 구축하고 H200 GPU · MIG · 하이브리드 클러스터 등 고성능 하드웨어를 도입. 금융 규제와 기존 클러스터 제약 안에서 학습·서빙·실험 환경을 통합한다.

결과모델 학습 · 등록 · 서빙이 표준 플로우로 묶인다. AI 적용 속도와 안정성을 동시에 끌어올리는 기반을 마련했다.

카카오페이
카카오페이 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. AI / ML·AWS KoreaAWS Korea·

    GloZ의 Amazon OpenSearch Service를 기반으로 한 자연어 이력서 검색 시스템 구축 사례 — Part 1: 데이터 파이프라인과 인덱싱

    문제콘텐츠 번역가 10만 명을 자연어로 검색하려면 BM25 키워드와 벡터 의미 검색을 동시에 잘 다뤄야 한다. 기존 PostgreSQL 검색은 nDCG@10 0.90 목표에 미달.

    접근Amazon OpenSearch Service 로 이전하면서 Nori 한국어 형태소 분석기 + 다국어 임베딩 + Bedrock Cohere/Claude 로 데이터 정제 파이프라인 구축. 단일 쿼리에서 키워드와 벡터를 결합.

    결과nDCG@10 0.90 이상 달성. 표준 어휘 사전과 별칭 매핑으로 이력서 데이터 일관성도 확보.

    #embedding#opensearch#rag+2
  2. AI / ML·베스핀글로벌베스핀글로벌·

    AI Paradox (3) | 할루시네이션의 진짜 원인은 데이터 파이프라인에 있다

    문제AI 할루시네이션은 모델이 아니라 데이터 파이프라인 결함의 결과. PoC 에서 90% 정확도였던 모델이 프로덕션에서 실패하는 이유.

    접근3 레이어 구조: 입력단 AI 기반 자동 품질 감시 → 거버넌스 레이어로 출처·흐름·접근 추적 → 출력단 AI-on-AI 자동 검증. 검색 품질이 답변 정확도를 좌우하므로 맥락 기반 청킹·멀티모달 임베딩·하이브리드 검색·리랭킹 네 기법 적용.

    결과단일 플랫폼 도입이나 벡터 DB 구축만으론 부족함을 명확히 한 실전 검증 패턴. 도메인별 맥락을 잃지 않는 데이터 파이프라인이 진짜 해법.

    #rag#governance#data-pipeline+2