pile·
인프라 / DevOps·데브시스터즈데브시스터즈·

쿠키런: 킹덤 AWS AZ 장애 아웃라인

문제2021년 AWS 도쿄 리전 데이터센터 냉각 시스템 고장으로 60대 CockroachDB 클러스터 중 6대 노드가 22분 만에 연쇄 장애를 일으켜 데이터 Range 2개와 시스템 Range 32개가 손상됐다.
접근생존 노드 54대에서 손상되지 않은 데이터 추출, 정기 백업 복원, CockroachDB 비공식 명령 debug unsafe-remove-dead-replicas 활용 세 가지 복구 경로를 병렬로 추진했다.
결과Range 1개는 unsafe-remove 명령으로, 다른 1개는 비트 레벨 DB 해킹으로 복구해 데이터 유실 없이 사용자 데이터를 되살렸다.
데브시스터즈
데브시스터즈 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1