Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

Aurora MySQL 클러스터에서 HikariCP keepaliveTime(30초) 설정에도 불구하고 주기적으로 "Failed to validate connection" 경고가 발생하며 연결이 먼저 끊어졌다.

200개 이상 DB의 파이프라인 설정과 실행 코드가 단일 레포에 결합되어 서비스팀이 테이블 추가 시 복잡한 코드베이스를 직접 익혀야 했다.

소스 Redshift 컴퓨트를 외부에 노출하지 않으면서 다른 계정의 분석팀이 데이터를 안전하게 쿼리할 수 있는 크로스 계정 거버넌스 패턴이 필요하다.

초당 10억 건 이상의 이벤트가 ClickHouse, Kafka, BigQuery 등 수십 개 분산 시스템에 흩어져 통합 분석이 불가능했다.

Airbnb 가 70억 노드·110억 엣지 규모로 하루 500만 엣지씩 자라는 identity graph 를, 써드파티 SaaS 그래프 DB 에서 JanusGraph+DynamoDB+OpenSearch 기반 내부 플랫폼으로 옮긴 과정을 다룬다. 쓰기 성능·4~8 hop 쿼리의 꼬리 지연·안정성 문제를 엔진과 클라이언트 양쪽 최적화로 풀어 모든 쿼리 패턴에서 기존 벤더를 앞섰다.

ClickHouse 파티션 키 변경 뒤 청구 집계 쿼리가 느려졌지만 I/O, 메모리, 읽은 파트 수 지표는 정상으로 보였다.

User 테이블의 managed GSI 에 쓰기가 집중되면서 Back-Pressure 로 메인 테이블 쓰기까지 차단되는 장애가 발생했다.

Interactive AI 스토리텔링 플랫폼 타닥(뷰컴즈) 이 실시간 이미지 생성 응답 3~5초, 비용 부담이 큼.

RAG 애플리케이션의 한국어 검색에서 벡터 검색만으론 고유명사·전문용어 누락과 조사 변화 매칭에 약하다.

Meta의 MySQL 기반 social graph ingestion은 petabyte 규모와 엄격한 landing latency 요구가 커지며 레거시 파이프라인 안정성이 한계에 닿았다.

메가 IP가 조회수를 넘어 OTT 플랫폼 성장에 실질적 기여를 하는지 데이터로 검증할 필요가 있었다.

ScyllaDB 클러스터 증설과 OS 업그레이드는 수십 시간 동안 엔지니어가 순서와 상태를 직접 관리해야 하는 고위험 운영이었다.

Slack의 EMR 데이터 파이프라인은 700개 이상 Airflow SSH 작업에 의존해 보안 표면, 키 관리, 장애 복구, 관측성이 모두 취약했다.

비정형·미문서화된 프로덕션 데이터 위에 LLM 을 얹으면 부서마다 다른 customer 정의, 스키마 변경 미공지, 소유자 불명, 데이터 lineage 부재가 그대로 답변 품질을 망친다.

실험 기본 지표가 50개 수준으로 늘면서 다중 비교 보정이 실제 효과 탐지력을 낮췄다.

하나의 OLAP 클러스터(StarRocks)를 여러 팀이 공유할 때, 한 팀의 무거운 쿼리가 다른 팀의 SLA에 영향을 준다.

미리캔버스가 MongoDB Atlas 에서 Amazon DocumentDB 로 전환하면서 partial index, $or 정렬, prefix regex, hot document lock 등에서 호환성 차이로 쿼리 성능이 저하됐다.

미리캔버스의 MongoDB Atlas가 3,000 IOPS 한계에 부딪혀 체크포인트마다 쓰로틀링과 복제 지연이 발생했다.

모두가 LLM/AI로 데이터를 다루게 된 시기, 데이터 팀의 역할이 모호해졌다. 단순 SQL 작성/리포트 제공이 셀프서비스로 대체된다.