WOOWA NLP 프레임워크를 활용한 자연어 처리 서비스 적용 #우아콘2023 #우아한형제들

우아한테크·우아콘 2023 2023·2023년

AI 요약

우아한형제들 사이언스팀이 배민 도메인에 맞춰 자체 구축한 WOOWA NLP 프레임워크를 소개하고, 자연어 처리 기술을 실제 서비스에 적용한 사례를 정리한 우아콘2023 세션이다. 임베딩·언어 모델의 기본부터 분류·생성·검색·RAG·에이전트까지 폭넓게 다룬다.

핵심 포인트

배민 코퍼스로 사전 학습한 언어 모델은 배민 도메인 지식을 내포해 효과적으로 모델링되고, 파이토치 라이트닝 기반 통일된 코드로 2~3개월 걸릴 작업을 2주로 단축한다
멀티클래스/멀티레이블 분류·회귀·생성·질의응답·NER·시멘틱 검색을 정형화된 코드로 구현하며, ChatGPT뿐 아니라 라마 2 등 오픈 LLM도 활용한다
메뉴 분류에 멀티클래스 분류를 적용하고 저신뢰 케이스만 사람이 검수해 검수 인력을 93.6% 절감했다

왜 읽나도메인 특화 NLP를 서비스에 적용하려는 데이터 사이언티스트·ML 엔지니어에게 자체 프레임워크 설계와 실전 적용의 레퍼런스를 준다.

챕터별 상세

010:00 – 8:11

NLP 기본 개념과 WOOWA NLP 프레임워크의 의의

데이터서비스실 사이언스팀 데이터 사이언티스트 김동환이 "NLP 프레임워크를 활용한 자연어처리 서비스 적용"을 발표한다. NLP 는 컴퓨터가 자연어를 이해해 문제를 해결하게 하는 기술이며, 핵심은 텍스트를 수치 벡터로 만드는 임베딩(의미·문법 정보가 담김)이다. 임베딩을 수행하는 모델이 언어 모델(LM), 그 규모를 키운 것이 거대 언어 모델(LLM) 이다. NLP 학습 모델은 언어 모델을 내부에 두고 뒷단에 짧은 태스크 헤드를 붙여, 분류("김치찌개가 맛있다"→긍정)나 생성("동해물과 백두산이"→"마르고 닳도록") 같은 태스크를 수행한다. 이 프레임워크의 의의는 셋이다. 첫째 배민 코퍼스로 자체 구축한 언어 모델 을 활용한다는 점이다. 코퍼스(말뭉치)를 학습하면 그 안의 의미 정보와 도메인 지식을 익히므로, 배민 코퍼스로 사전 학습한 모델은 배민 도메인 지식을 내포해 효과적으로 모델링할 수 있다. 둘째 반복 태스크를 빠르게 구현 한다는 점(파이토치 라이트닝 기반 하이레벨 인터페이스로, 기존 한 명이 2~3개월 걸릴 세 프로젝트를 2주 만에 완료한 사례), 셋째 LLM을 효율적으로 활용(ChatGPT뿐 아니라 라마 2 등 오픈 LLM도 쓰며 도메인 어댑테이션·프롬프트 엔지니어링 두 갈래)한다는 점이다.

현재 적용 가능한 서비스 기술을 커스텀 데이터로 학습·추론하는 기능과 이미 학습된 모델로 바로 추론하는 기능으로 나눈다. 전처리로는 유사 질의 생성(데이터 증강)과 번역(구글/딥엘)이 있다. 학습·추론 태스크의 분류는 멀티클래스(여러 카테고리 중 하나, 예: 긍정/부정/중립)와 멀티레이블(동시에 여러 카테고리에 속할 수 있어 0~1 스코어로 반환, 예: 독성 분류)로 나뉜다. 멀티클래스 코드 흐름은 get_tokenizer로 토크나이저를, get_pretrained_model로 사전 학습 모델을 준비하고, 데이터셋으로 TextCLF 트레이너를 훈련해 체크포인트를 저장한 뒤 predict로 추론하는 식으로 정형화·통일된 간결한 코드 가 장점이다. 텍스트 회귀 는 이어지는 타깃 값을 예측(긍정 스코어 0.93), 텍스트 생성 은 요약·번역·생성형 QA에 활용(BART·T5나 라마 2 기반), 질의응답 은 단락에서 답을 추출, 문장 간 유사도 는 두 문장의 유사도를 벡터로 계산("주문 취소 어떻게"와 "주문 취소하는 방법은"→0.93)한다. 개체명 인식(NER) 은 텍스트에서 카테고리 속성 단어를 예측(김연아=Person 등), 시멘틱 검색 은 입력과 가장 유사한 상위 K개를 찾고, 도메인 어댑테이션 은 오픈 LLM을 자체 코퍼스로 추가 사전 학습한다.

학습 모델 기반 추론 서비스로 임베딩 추출(검색·피처·유사도용 벡터), 띄어쓰기 보정(auto_space), 감성 분석(긍정/부정/중립, "맛은 있는데 양이 작아요"→mixed) 세 가지를 든다. 추가 적용 예정으로는 둘 다 프롬프트 엔지니어링 갈래인 RAG 와 에이전트 를 소개한다. RAG(Retrieval-Augmented Generation)는 사용자 입력으로 외부 데이터를 검색해 프롬프트를 증강하는 기술로, 위키 문서 기반 생성형 QA에서 유사 문서 상위 K개를 검색해 증강된 프롬프트로 LLM이 올바른 답을 생성하게 한다. 에이전트는 스킬셋을 바탕으로 해결 과정을 계획·수행해 목표를 달성하는 개체로, 뉴스 동향 리서치 에이전트가 검색·스크랩·요약을 반복해 최종 리포트를 작성하는 예(BabyAGI 기반)를 든다. 끝으로 실무 성공 사례로 메뉴 분류 를 든다. 멀티클래스 분류로 메뉴 이름·그룹 등을 입력받아 카테고리를 분류하되, 신뢰도가 낮거나 세트처럼 여러 카테고리에 속하는 경우는 사람이 검수하게 해 기존 100% 사람이 하던 작업을 상당 부분 자동화했다. 이 결과는 "테마에 맞는 가게 리스트" 같은 서비스에 활용되며 검수 인력을 기존 대비 93.6% 절감 하는 성과를 거뒀다. 도메인 지식을 담은 언어 모델 활용·통일된 코드로 다양한 태스크 구현·LLM 효율 활용이라는 의의를 다시 요약하며 마친다.