인프라 / DevOps·
데보션 (SK)·
Apache Airflow 3.x Dag Parsing 최적화 체크리스트
Apache Airflow 3.x에서 DAG 파일 파싱이 느려지면 태스크 실행 지연·스케줄러 심박 지연·CPU/메모리 폭증이 발생하지만 설정 위치와 안티패턴이 흩어져 있어 진단이 어렵다.
#data-engineering#performance#python+2
Apache Airflow 3.x에서 DAG 파일 파싱이 느려지면 태스크 실행 지연·스케줄러 심박 지연·CPU/메모리 폭증이 발생하지만 설정 위치와 안티패턴이 흩어져 있어 진단이 어렵다.
14개 레포에서 한 주치 Git 커밋을 모아 주간 업무 보고서로 정리한 뒤 Confluence에 올리는 작업이 매주 30~60분씩 들었고, 포맷 일관성과 누락 방지도 사람이 일일이 챙겨야 했다.
클라우드 관리형 HPC는 빠르지만 성능 최적화와 장애 대응이 사용자 몫이고, 베어메탈 경험 없이는 클라우드 옵션을 깊게 이해하기 어렵다.
10년 된 Spring 4.0/MyBatis 레거시의 380개 자바 클래스와 49개 SQL을 사람이 일일이 훑어 성능 병목과 보안 이슈를 찾기에는 시간과 인지 비용이 너무 컸다.
라즈베리파이 5 같은 엣지 디바이스에서 객체 탐지 모델을 실시간으로 돌리려면, 풀스펙 딥러닝 모델은 너무 무거워 추론 속도·메모리·전력 모두에서 제약이 생긴다.