pile·
인프라 / DevOps·쏘카socar·

로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용

문제Kinesis Data Stream + Firehose 기반 로그 파이프라인이 S3/GCS 중복 저장, 1~2시간 배치 지연, 스키마 변경 추적 부재로 비효율적이었다.

접근MSK(Managed Streaming for Apache Kafka) + 커스텀 Python Consumer로 전환하고 Protobuf + Buf 기반 Schema Registry로 스키마 관리를 자동화한다. GCS를 SSoT로 두고 BigQuery 외부 테이블로 적재한다.

결과데이터 신선도가 1~2시간에서 약 3분 수준으로 줄었고 수기 스키마 작업이 사라졌다. 단일 장애점이 제거되어 선택적 로그 적재가 가능해졌다.

쏘카
쏘카 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·베스핀글로벌베스핀글로벌·

    엔비디아 쓰던 빅테크들, 왜 직접 ‘AI 칩’ 설계에 뛰어드나?

    문제2026 년 AI 연산의 66% 가 추론에서 발생할 전망. 범용 GPU 는 학습엔 강하지만 추론 환경에서 전력·단가 비효율.

    접근빅테크들이 ASIC(주문형 반도체) 자체 설계로 전환. 구글 TPU(2015), 아마존 트레이니엄+인퍼런시아 분리, MS 하드웨어·소프트웨어 동시 설계, 메타·OpenAI 는 파트너십.

    결과추론 전용 칩 시장 2026 년 500억 달러 전망. 단순 비용 절감을 넘어 자사 서비스 최적화 인프라로 엔비디아 의존도 분산.

    #gpu#asic#ai-chip+2
  2. 인프라 / DevOps·베스핀글로벌베스핀글로벌·

    AI Paradox (1) | LLM 인프라 비용, 1시간 만에 8,500만 원 날라간 이유

    문제AI PoC 월 300만 원이 본 운영 전환 시 3,800만 원까지 폭증. GPU 유휴율 68%, 토큰 폭주로 71분 만에 8,500만 원 손실 사례.

    접근FinOps 3단계: Inform(GPU 활성화율·토큰 소비 가시화) → Optimize(작업 난이도별 LLM 선택으로 최대 80% 절감) → Operate(자동화 스케줄링·토큰 거버넌스).

    결과LLM 인프라 비용 61% 절감, GPU 유휴율 68% → 12%. 콜드 스타트 우려에 갇혀 유휴 GPU 못 끄던 운영 책임 분담 문제를 자동화로 해결.

    #llm#tokenization#gpu+2
  3. 인프라 / DevOps·AWS KoreaAWS Korea·

    뉴빌리티의 Amazon Kinesis Video Streams 기반 원격 관제 확장 사례

    문제자율주행 로봇 300대를 RTSP + 포트포워딩으로 원격 관제하니 신규 사이트마다 20분~수시간 네트워크 설정이 필요. 운영 확장 불가.

    접근Amazon Kinesis Video Streams 의 WebRTC Signaling Channel 로 P2P 연결 구성. roundTripTime, fractionLost 메트릭 + TWCC 기반 비트레이트 조정으로 LTE 가변 환경 대응.

    결과포트포워딩 제거, 외부 이해관계자도 영상 접근 가능, 네트워크 변동에도 안정 품질 유지.

    #iot#aws#webrtc+2