NRTI (Near Real-Time Indexing)

문제딜리셔스의 Elasticsearch 검색 색인은 전체 색인에서 데이터 손실 위험이 있고 증분 색인도 1~3분이 걸려 신상품 노출이 늦었으며 운영도 복잡했다.

접근MySQL binlog를 Debezium CDC로 잡아 Kafka 토픽으로 흘리고, Spring-Kafka 컨슈머를 파티션과 1:1로 맞춰 Indexer가 ECK(Elastic Cloud on Kubernetes) 위 ES에 실시간 반영하도록 메시징 기반 아키텍처를 재구성했다.

결과전체 색인이 3.5시간 → 40분(약 80% 단축), 증분 색인이 1~3분 → 1~20초(약 90% 단축)로 줄고, 비활성·삭제 상품까지 포함해 색인 범위가 4배로 확장됐다.