Y가 명확하지 않은 머신 러닝: 비즈니스 제약사항을 고려한 실시간 추론 #우아콘2023 #우아한형제들

여기까지 생각하니 배달 시간이 단일 시간이 아님을 깨달아, 배달 시간을 "배차 시간 + 가게 이동 시간"을 준비 시간과 비교해 큰 값을 취하고 전달 시간을 더하는 형태로 브레이크다운했다. 나아가 사용자 관점에서 둘로 더 쪼갰다. 배달 예상 시간은 가게 상세에 노출되는, 주문 전 시간으로 주문 전환에 영향을 미치며 정보가 제약돼 비슷한 환경의 배달 건에 대한 시간을 노출한다. 고객 안내 시간은 주문 접수 후 개개인 환경을 개별 고려한 점 추정이다.

목표는 둘로 나뉜다. 모델링 목표는 ① 실제 소요와 예측의 갭을 최소화하는 정확성, ② 비슷한 조건에서 예측값이 일관된 패턴을 갖는 일관성이다. 여기에 비즈니스를 고려하며 "Y가 명확하지 않은" 부분이 등장하는데, 음식만 하던 과거와 달리 중간중간 커피·상품 주문으로 수요와 라이더 공급이 실시간 변하는 적시성에 면밀히 대처할 필요가 생긴다.

적시성 아래 수요·공급에 대처하면서, 배달 예상 시간을 보고 사용자가 주문을 포기하지 않도록 주문 전환율을 고려한 시간을 내보낼 책임도 관리하게 됐다. 핵심 통찰은 "정확한 값이 곧 틀리지 않은 값은 아니다"라는 것이다. 정확한 값을 내는 건 자신 있었지만, 그 값이 틀리지 않은 값은 아니어서 융통성이 필요했다.

값이 너무 정확하지만 시간이 너무 짧으면 모두가 최선을 다해도 배달 품질 관리가 어려워지고 변동이 커져 고객 경험에 나쁘다. 반대로 999분을 내놓으면 항상 지킬 수 있지만 아무도 주문하지 않는다. 그래서 아무도 정확히 말할 수 없는 미묘한 균형을 관리해야 하고, 진짜 문제는 이것을 실시간으로 고민해야 한다는 점이다. 사장님의 점심·저녁 혼잡도, 음식별 준비 시간, 라이더의 연속 배달과 골목·거리까지 지역 정보를 실시간 반영하는 것이 큰 난제였다.

모델러 김동인이 모델링 관점을 설명한다. 오차만 줄이면 "배달 예상 시간 안에 배달될 확률 최대화"에서 시간을 한없이 늘리는 게 최적이 되므로, 제약을 고려한 적절한 타깃 윈도우가 중요했다. 배달 소요 시간은 본질적으로 롱테일 분포라 이상치도 주요 지표가 된다. 그래서 ① 단일 값이 아닌 신경망으로 확률 분포를 예측하는 확률 모델링, ② 예측이 길거나 늦으면 패널티를 주는 커스텀 손실 함수와 버퍼, ③ 연속형 변수를 구간으로 나누는 버킷팅 피처 가공을 적용했다.

서빙은 안정성을 위해 세 모델로 나눴다. 미리 계산 가능한 정보를 연산하는 사전 모델, 배달 구간별 소요를 예측하는 실시간 모델, 실패 대비 기본 피처만 쓰는 배치성 서브 모델이다. 데이터도 시점별로 셋으로 나눠, 시점 무관한 기본 피처(위치는 행정동 대신 H3 인덱스, 고차원 희소 벡터는 임베딩), 추론 시점에 확보되는 실시간 피처(돌발 변수를 간접 반영), 미리 연산 가능한 과거 통계 피처(콜드 스타트 대응)로 구성했다.

다시 이봉호가 개선 방향을 공유한다. ① 도커로 학습 환경을 일원화하고 드리프트 자동 대응·시뮬레이션 환경을 갖추는 공격적 MLOps, ② 몰 입점이 많은 한국 특성을 반영할 실내 이동 거리, ③ 인풋(정확성)과 아웃풋(주문·취소 경험)을 측정하는 비즈니스 관점 모니터링 체계다. 배달 시간을 여러 시간의 결합으로 보고 이해관계자 상황을 실시간 반영하되, 모델 관점의 정확한 값보다 비즈니스 조건을 감안한 유연한 값을 내기 위해 모델링 후 최적화를 거친다는 점을 요약하며 마무리한다.