DB / 데이터·
cloudflare-blog·
cloudflare-blog·Our billing pipeline was suddenly slow. The culprit was a hidden bottleneck in ClickHouse
#clickhouse#lock-contention#query-planner
DB / 데이터·
banksalad·
banksalad·사용법과 함께 작성해본 좌충우돌 AWS DMS 사용기 - feat. RDS 통합 이야기
문제서비스별로 분리된 약 50개 RDS 클러스터를 7개 업무 도메인으로 통합해 비용을 1/3로 줄이려 했고, 무중단 N:1 이관이 필요했다.
접근AWS DMS의 Full Dump + CDC로 무중단 이관을 구성한다. 운영 DB CPU 100% 부하에 대비해 인스턴스를 피크의 2배로 키우고, 바이너리 로그 보존 한계는 DMS 인스턴스 r5.8xlarge + Limited LOB Mode로 회피한다. FK 제약은 `initstmt=SET FOREIGN_KEY_CHECKS=0` 으로 푼다.
결과데이터 유실 없이 클러스터 비용을 1/3로 줄였다. 대용량 이관은 과하다 싶게 스펙업하는 것이 안전하다.
읽음 (0)
이 글과 비슷한
- DB / 데이터·
AWS Korea·Amazon ElastiCache for Valkey의 CESC로 Interactive AI 스토리텔링 플랫폼 최적화하기
문제Interactive AI 스토리텔링 플랫폼 타닥(뷰컴즈) 이 실시간 이미지 생성 응답 3~5초, 비용 부담이 큼.
접근CESC(Context Enabled Semantic Caching) — 사용자 입력·월드 메타·캐릭터 상태를 벡터화해 ElastiCache for Valkey 에 저장. 유사 과거 요청 검색해 캐시 이미지 즉시 반환. Valkey GLIDE 클라이언트 하이브리드 검색 + LLM 검증으로 환각 방지.
결과캐시 적중 시 응답 100ms 미만(98% 단축). 전체 트래픽 35% 캐시 처리. 월 1,750만 원 생성 비용 절감.
#embedding#aws#valkey+2 - DB / 데이터·AWS Korea·
Aurora PostgreSQL에서 한국어 하이브리드 검색 구현하기: pg_bigm + pgvector로 만드는 한국어 특화 RAG
문제RAG 애플리케이션의 한국어 검색에서 벡터 검색만으론 고유명사·전문용어 누락과 조사 변화 매칭에 약하다.
접근Aurora PostgreSQL 에서 pg_bigm(바이그램 키워드 검색)과 pgvector(벡터 시맨틱 검색)를 RRF(Reciprocal Rank Fusion)로 결합한 하이브리드 검색을 구성.
결과두 방식의 약점이 상호 보완되어 한국어 RAG 의 검색 품질이 개선. 키워드·의미 검색을 한 DB 안에서 통합 운용 가능.
#rag#pgvector#hybrid-search+1