pile·
DB / 데이터·뱅크샐러드뱅크샐러드·

분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?

문제분석 데이터로 프로덕션 제품을 만들 때마다 아키텍처가 새로 설계되고 서버 엔지니어 개입이 필요했다.
접근분석 테이블을 프로덕션 API로 노출하는 플랫폼 dataserving을 만들었다. Amazon DocumentDB를 백엔드로 두고 protobuf·IDL로 데이터 명세를 정의했다. datapipe에서 정기적으로 테이블을 업데이트하고 DataservingInsertOperator로 테이블·데이터셋 매핑을 자동화했다.
결과데이터 분석가가 서버 엔지니어 없이 API를 만들 수 있다. 금융쇼핑·내 자산 순위·보험 진단·자산 분석 보드 같은 데이터 제품이 이 플랫폼 기반으로 출시됐다.
뱅크샐러드
뱅크샐러드 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2