pile·
백엔드·11번가11번가·

한계에 도달한 전시 서버, 그리고 우리의 해답

문제11번가 전시 API 서버는 매년 트래픽이 늘고 행사·라이브 방송 같은 버스트도 잦아져 서버 증설로 버티고 있었지만, 배포 시간과 운영 비용이 함께 커지는 한계가 있었다.
접근MongoDB의 maxConnectionIdleTime을 인스턴스별 5분 간격으로 분산하고 minPoolSize·maxPoolSize를 같게 잡아 즉시 처리량을 확보했으며, 버스트에서는 Fast-Fail 재시도 정책, 로컬 캐시 크기 제한, 100건 이상 조회의 단계적 분할을 적용했다.
결과TPS가 65.9K에서 87.9K로 약 33% 늘고, 노후 장비 CPU 스파이크가 25%→9%, 신규 장비는 8%→2~3%로 줄었으며, 평균 응답 23ms를 유지하면서 서버 대수를 110대에서 70대로 줄였다.
11번가
11번가 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. 백엔드·cloudflare-blogCloudflare Blog·

    hyper HTTP 라이브러리의 버그를 발견한 방법

    Cloudflare의 Images 서비스를 Unix 소켓 기반 아키텍처로 재구성한 후, 대용량 이미지 응답이 중간에 잘리는 버그가 발생했다. 14.8MB 응답에서 219KB만 전달되고 HTTP 200 OK는 정상 반환되어 애플리케이션 레벨에서 탐지가 불가능했다. 원인은 hyper 라이브러리의 dispatch 루프에서 flush 완료 여부를 확인하지 않고 연결을 종료하는 경쟁 조건이었으며, strace로 커널 호출 순서를 추적해 root cause를 특정했다. 최종 수정은 upstream PR #4018로 hyper 레포에 병합됐다.

    #rust#debugging#race-condition+2
  2. 백엔드·stackoverflow-blogStack Overflow Blog·

    CherryScript — 데이터 파이프라인을 위한 커스텀 Python 인터프리터 설계

    CherryScript는 데이터 기반 워크플로우 최적화를 위한 커스텀 DSL로, Python 기반 인터프리터로 구현됐다. 일반 Python 인터프리터의 메모리 병목과 AST 트리워킹 성능 문제를 극복하기 위해 스트리밍 렉서, 바이트코드 컴파일, 불변 상태 관리의 세 가지 최적화 전략을 채택했다.

    #dsl#python#interpreter+2