pile·
인프라 / DevOps·linkedin-engLinkedIn Engineering·

Rewinder: Hadoop 클러스터 리소스 활용 분석 도구

문제YARN ResourceManager는 현재 시점만 표시해 과거 클러스터 자원 활용 추이 분석이 불가능했고, Job History Server는 MapReduce 작업만 지원했다.
접근YARN REST API로 매분 메모리/vCore를 수집하는 Extractor, 야간 보고서 Reporter, Java Quartz Scheduler Trigger 등 4개 컴포넌트 아키텍처. MySQL에 저장.
결과사용자/큐별 자원 소비, 30일 추세, 대기/실행 시간 분석 가능. 개발 클러스터 70일치 14GB 보관, 일 60만 건 수집.
linkedin-eng
LinkedIn Engineering 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1