pile·
AI / ML·베스핀글로벌bespin-global·

AI Paradox (3) | 할루시네이션의 진짜 원인은 데이터 파이프라인에 있다

문제AI 할루시네이션은 모델이 아니라 데이터 파이프라인 결함의 결과. PoC 에서 90% 정확도였던 모델이 프로덕션에서 실패하는 이유.

접근3 레이어 구조: 입력단 AI 기반 자동 품질 감시 → 거버넌스 레이어로 출처·흐름·접근 추적 → 출력단 AI-on-AI 자동 검증. 검색 품질이 답변 정확도를 좌우하므로 맥락 기반 청킹·멀티모달 임베딩·하이브리드 검색·리랭킹 네 기법 적용.

결과단일 플랫폼 도입이나 벡터 DB 구축만으론 부족함을 명확히 한 실전 검증 패턴. 도메인별 맥락을 잃지 않는 데이터 파이프라인이 진짜 해법.

베스핀글로벌
베스핀글로벌 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. AI / ML·AWS KoreaAWS Korea·

    GloZ의 Amazon OpenSearch Service를 기반으로 한 자연어 이력서 검색 시스템 구축 사례 — Part 1: 데이터 파이프라인과 인덱싱

    문제콘텐츠 번역가 10만 명을 자연어로 검색하려면 BM25 키워드와 벡터 의미 검색을 동시에 잘 다뤄야 한다. 기존 PostgreSQL 검색은 nDCG@10 0.90 목표에 미달.

    접근Amazon OpenSearch Service 로 이전하면서 Nori 한국어 형태소 분석기 + 다국어 임베딩 + Bedrock Cohere/Claude 로 데이터 정제 파이프라인 구축. 단일 쿼리에서 키워드와 벡터를 결합.

    결과nDCG@10 0.90 이상 달성. 표준 어휘 사전과 별칭 매핑으로 이력서 데이터 일관성도 확보.

    #embedding#opensearch#rag+2
  2. AI / ML·AWS KoreaAWS Korea·

    AWS의 Claude Platform 소개: AWS 계정을 통한 Anthropic의 네이티브 Claude Platform 시작하기

    문제AWS 사용자가 Claude Platform 의 Messages API, Managed Agents, MCP, 코드 실행 등 모든 기능을 별도 자격증명/계약 없이 쓰고 싶다.

    접근Anthropic 의 네이티브 Claude Platform 을 AWS 계정으로 직접 인증·청구. IAM, Marketplace, CloudTrail 과 통합. 워크스페이스로 프로젝트·환경·팀 분리.

    결과환경변수 + API 호출만으로 Claude Code, Claude Cowork 등 다양한 클라이언트 연결. Cost Explorer 에서 AI 지출을 다른 AWS 서비스와 함께 모니터링. 17개 리전 제공.

    #claude#mcp#aws+2