pile·
DB / 데이터·AWS KoreaAWS Korea Tech·

Amazon SageMaker Unified Studio에서 Cross-Account Amazon Redshift Data Sharing 거버넌스 패턴 검증

문제소스 Redshift 컴퓨트를 외부에 노출하지 않으면서 다른 계정의 분석팀이 데이터를 안전하게 쿼리할 수 있는 크로스 계정 거버넌스 패턴이 필요하다.
접근SageMaker Unified Studio의 Publisher 프로젝트를 소스 계정에 배치하고, Consumer 프로젝트는 도메인 계정에 구성한다. 3가지 실패 패턴(Federated Catalog, 수동 datashare, 도메인 계정 Publisher) 검증 후 SMUS cross-account 구독과 Redshift datashare 두 메커니즘으로 설계를 완성.
결과컨슈머 워크그룹에서 쿼리가 실행되고 소스 클러스터 STL_QUERY에 기록이 없어 컴퓨트 격리를 확인. RAM, VPC peering, 태그 설정 단계별 구현 가이드 제공.
AWS Korea
AWS Korea Tech 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2