pile·
AI / ML·베스핀글로벌bespin-global·

정확도 3%에서 98%로 상승? 데이터 정제보다 무서운 ‘데이터 고립’

문제AI 도입 기업의 7% 만 데이터가 준비 상태. 정제만으론 부족하고 데이터 간 맥락이 빠지면 AI 가 추론을 못 한다.

접근온톨로지(개체·속성·관계·규칙)로 데이터에 의미·구조 부여. SNOMED CT 같은 표준 온톨로지 적용 시 정확도 3% → 98%. 작게 시작·전사 참여·운영 중시 3원칙.

결과Gartner 는 2030 까지 시맨틱 레이어가 핵심 인프라가 될 것으로 전망 (2025~2029 관련 지출 7배). 데이터 고립을 깨는 진짜 해법.

베스핀글로벌
베스핀글로벌 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. AI / ML·AWS KoreaAWS Korea·

    GloZ의 Amazon OpenSearch Service를 기반으로 한 자연어 이력서 검색 시스템 구축 사례 — Part 1: 데이터 파이프라인과 인덱싱

    문제콘텐츠 번역가 10만 명을 자연어로 검색하려면 BM25 키워드와 벡터 의미 검색을 동시에 잘 다뤄야 한다. 기존 PostgreSQL 검색은 nDCG@10 0.90 목표에 미달.

    접근Amazon OpenSearch Service 로 이전하면서 Nori 한국어 형태소 분석기 + 다국어 임베딩 + Bedrock Cohere/Claude 로 데이터 정제 파이프라인 구축. 단일 쿼리에서 키워드와 벡터를 결합.

    결과nDCG@10 0.90 이상 달성. 표준 어휘 사전과 별칭 매핑으로 이력서 데이터 일관성도 확보.

    #embedding#opensearch#rag+2
  2. AI / ML·베스핀글로벌베스핀글로벌·

    AI Paradox (3) | 할루시네이션의 진짜 원인은 데이터 파이프라인에 있다

    문제AI 할루시네이션은 모델이 아니라 데이터 파이프라인 결함의 결과. PoC 에서 90% 정확도였던 모델이 프로덕션에서 실패하는 이유.

    접근3 레이어 구조: 입력단 AI 기반 자동 품질 감시 → 거버넌스 레이어로 출처·흐름·접근 추적 → 출력단 AI-on-AI 자동 검증. 검색 품질이 답변 정확도를 좌우하므로 맥락 기반 청킹·멀티모달 임베딩·하이브리드 검색·리랭킹 네 기법 적용.

    결과단일 플랫폼 도입이나 벡터 DB 구축만으론 부족함을 명확히 한 실전 검증 패턴. 도메인별 맥락을 잃지 않는 데이터 파이프라인이 진짜 해법.

    #rag#governance#data-pipeline+2