line·문제LY Corporation 사내 클라우드 Flava 의 AI 어시스턴트는 27개 제품과 260+ API, 수백 페이지 문서를 다뤄야 한다. 프롬프트 엔지니어링만으로는 LLM 이 적절한 응답을 만들지 못한다.
접근컨텍스트 엔지니어링으로 전환. "어떻게 답하라" 지침 대신 "지금 상황에 맞는 정보" 를 선별해 전달하는 데 집중한다. 툴/문서를 분류·요약·랭킹해 LLM 입력 윈도우에 들어갈 핵심 컨텍스트만 구성한다.
결과엔터프라이즈 LLM 앱 설계의 1차 의사결정 축을 정립했다. 다음 편에선 에이전트 엔지니어링(파인튜닝 vs 에이전틱 워크플로)으로 이어진다.
AWS Korea·문제콘텐츠 번역가 10만 명을 자연어로 검색하려면 BM25 키워드와 벡터 의미 검색을 동시에 잘 다뤄야 한다. 기존 PostgreSQL 검색은 nDCG@10 0.90 목표에 미달.
접근Amazon OpenSearch Service 로 이전하면서 Nori 한국어 형태소 분석기 + 다국어 임베딩 + Bedrock Cohere/Claude 로 데이터 정제 파이프라인 구축. 단일 쿼리에서 키워드와 벡터를 결합.
결과nDCG@10 0.90 이상 달성. 표준 어휘 사전과 별칭 매핑으로 이력서 데이터 일관성도 확보.
베스핀글로벌·문제AI 할루시네이션은 모델이 아니라 데이터 파이프라인 결함의 결과. PoC 에서 90% 정확도였던 모델이 프로덕션에서 실패하는 이유.
접근3 레이어 구조: 입력단 AI 기반 자동 품질 감시 → 거버넌스 레이어로 출처·흐름·접근 추적 → 출력단 AI-on-AI 자동 검증. 검색 품질이 답변 정확도를 좌우하므로 맥락 기반 청킹·멀티모달 임베딩·하이브리드 검색·리랭킹 네 기법 적용.
결과단일 플랫폼 도입이나 벡터 DB 구축만으론 부족함을 명확히 한 실전 검증 패턴. 도메인별 맥락을 잃지 않는 데이터 파이프라인이 진짜 해법.
무신사 테크·