pile·
인프라 / DevOps·discord-blogDiscord Blog·

You’ve Got (Too Much) Mail: Behind the Scenes of the 3/25/26 Voice Outage

문제Discord의 Kubernetes 리소스 변경이 session pod 50% 종료로 이어져 전체 session 17%가 끊기고 voice routing 서비스까지 연쇄 장애가 발생했다.
접근Elixir process monitor, gateway 재접속, Holster.Pool supervisor mailbox 병목을 추적했다. admission webhook, PartitionSupervisor, rate limit, voice syncer 확장을 적용했다.
결과12:13부터 15:30 PDT까지 이어진 음성 장애의 병목을 연결 풀 supervisor와 service discovery 경로까지 좁혔다. 이후 scale-down 안전장치와 mailbox 관측성을 강화했다.
discord-blog
Discord Blog 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1