롯데ON·롯데ON TechOps팀이 AWS EKS MSA 환경의 장애 원인 분석(RCA)을 자동화하기 위해 AI 에이전트 'SentryOn'을 구축했다. AWS 오픈소스 Strands Agent SDK와 Amazon Bedrock Claude 모델을 기반으로, 인프라·DB·APM·로그를 동시에 교차 검증하던 수작업을 AI가 대체한다. 도입 2개월 만에 24/365 1차 분석이 가능해졌고 MTTD가 향상됐다.
롯데ON·거대한 코드베이스에서 비즈니스 정책이 어디·어떻게 구현됐는지 찾기 어렵고, 문서는 낡거나 누락된 경우가 많았다.
롯데ON·새벽 배치 작업이 DynamoDB 자원을 독점해 대고객 실시간 API에 쓰로틀링 에러가 발생했다.
롯데ON·외부 Batch Scheduler 솔루션의 지속적 운영 비용·커스터마이징 한계·장애 대응 어려움으로 내재화가 필요했다.
롯데ON·크리덴셜 스터핑 공격 탐지 후 로그인 이력·연관 정보의 맥락 판단을 사람이 직접 해야 해 즉각 대응이 불가능했고, 야간·휴일에는 분석 자체가 어려웠다.
롯데ON·배포 때마다 Jira 티켓 생성·브랜치 확인·머지·상태 변경 등 수작업 반복으로 개발자 컨텍스트 스위칭 비용과 태그·머지 누락 실수 발생
롯데ON·외부 상용 이미지 처리 솔루션의 라이선스 비용 부담과 상품 이미지 실시간 변환(리사이징·포맷·압축) 성능 이슈
롯데ON·마이크로서비스 간 인터페이스(API, Kafka 등) 이력 관리와 호출 추적을 위한 가벼운 APM이 필요했다.
롯데ON·5분 배치 방식 에러 알림으로 장애 감지가 늦고, 스케줄러/배치/DB 중 하나만 장애가 나도 모든 알림이 끊겼다.
롯데ON·롯데ON의 50개 이상 사내 시스템이 계정을 각각 분산 관리해 비밀번호 동기화 지연, 보안 리스크, 운영 비용 증가 문제가 발생했다.
롯데ON·Aurora MySQL에서 DNS TTL 5초로 RO 노드 밸런싱이 깨지고, RDS Proxy의 custom endpoint 미지원으로 Scale-in 시 엔드포인트 변경 작업과 VCPU 과금 낭비가 발생했다.