DB / 데이터·
cloudflare-blog·
cloudflare-blog·Our billing pipeline was suddenly slow. The culprit was a hidden bottleneck in ClickHouse
#clickhouse#lock-contention#query-planner
DB / 데이터·
banksalad·
banksalad·분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
문제분석 데이터로 프로덕션 제품을 만들 때마다 아키텍처가 새로 설계되고 서버 엔지니어 개입이 필요했다.
접근분석 테이블을 프로덕션 API로 노출하는 플랫폼 dataserving을 만들었다. Amazon DocumentDB를 백엔드로 두고 protobuf·IDL로 데이터 명세를 정의했다. datapipe에서 정기적으로 테이블을 업데이트하고 DataservingInsertOperator로 테이블·데이터셋 매핑을 자동화했다.
결과데이터 분석가가 서버 엔지니어 없이 API를 만들 수 있다. 금융쇼핑·내 자산 순위·보험 진단·자산 분석 보드 같은 데이터 제품이 이 플랫폼 기반으로 출시됐다.
읽음 (0)
이 글과 비슷한
- DB / 데이터·
AWS Korea·Amazon ElastiCache for Valkey의 CESC로 Interactive AI 스토리텔링 플랫폼 최적화하기
문제Interactive AI 스토리텔링 플랫폼 타닥(뷰컴즈) 이 실시간 이미지 생성 응답 3~5초, 비용 부담이 큼.
접근CESC(Context Enabled Semantic Caching) — 사용자 입력·월드 메타·캐릭터 상태를 벡터화해 ElastiCache for Valkey 에 저장. 유사 과거 요청 검색해 캐시 이미지 즉시 반환. Valkey GLIDE 클라이언트 하이브리드 검색 + LLM 검증으로 환각 방지.
결과캐시 적중 시 응답 100ms 미만(98% 단축). 전체 트래픽 35% 캐시 처리. 월 1,750만 원 생성 비용 절감.
#embedding#aws#valkey+2 - DB / 데이터·AWS Korea·
Aurora PostgreSQL에서 한국어 하이브리드 검색 구현하기: pg_bigm + pgvector로 만드는 한국어 특화 RAG
문제RAG 애플리케이션의 한국어 검색에서 벡터 검색만으론 고유명사·전문용어 누락과 조사 변화 매칭에 약하다.
접근Aurora PostgreSQL 에서 pg_bigm(바이그램 키워드 검색)과 pgvector(벡터 시맨틱 검색)를 RRF(Reciprocal Rank Fusion)로 결합한 하이브리드 검색을 구성.
결과두 방식의 약점이 상호 보완되어 한국어 RAG 의 검색 품질이 개선. 키워드·의미 검색을 한 DB 안에서 통합 운용 가능.
#rag#pgvector#hybrid-search+1