pile·
DB / 데이터·뱅크샐러드뱅크샐러드·

사용법과 함께 작성해본 좌충우돌 AWS DMS 사용기 - feat. RDS 통합 이야기

문제서비스별로 분리된 약 50개 RDS 클러스터를 7개 업무 도메인으로 통합해 비용을 1/3로 줄이려 했고, 무중단 N:1 이관이 필요했다.
접근AWS DMS의 Full Dump + CDC로 무중단 이관을 구성한다. 운영 DB CPU 100% 부하에 대비해 인스턴스를 피크의 2배로 키우고, 바이너리 로그 보존 한계는 DMS 인스턴스 r5.8xlarge + Limited LOB Mode로 회피한다. FK 제약은 `initstmt=SET FOREIGN_KEY_CHECKS=0` 으로 푼다.
결과데이터 유실 없이 클러스터 비용을 1/3로 줄였다. 대용량 이관은 과하다 싶게 스펙업하는 것이 안전하다.
뱅크샐러드
뱅크샐러드 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2