모델 라우팅

뜻풀이

쉬운 AI 사전

1. [명사] (서비스) 질문이 오면 쉬운 건 작고 싼 AI에게, 어려운 건 크고 강한 AI에게 자동으로 나눠 보내는 방식.

실무 AI 사전

1. [명사] (서비스) 모든 요청에 가장 큰 모델을 쓰면 비용과 지연이 크다. 질문의 난이도나 종류를 먼저 분류해 알맞은 모델로 보내면 품질을 지키면서 비용을 줄일 수 있다.

전문 AI 사전

1. [명사] (서비스) 요청 특성(난이도, 유형, 길이, 비용 제약)에 따라 여러 모델 중 하나를 선택하는 계층. 규칙 기반이나 분류기, 작은 LLM 판별기로 구현하고, 약한 모델의 답이 불확실하면 강한 모델로 넘기는 폴백 구조도 쓴다.

관용구/함께 쓰는 말

• 폴백 - 1차 모델이 실패하면 다른 모델로 대신 처리하는 일.
• 난이도 분류 - 질문의 어려운 정도를 먼저 판정하는 일.

쉬운 비유

병원 접수에서 가벼운 증상은 일반의에게, 복잡한 증상은 전문의에게 안내하는 것과 같다.

예문

• 간단한 문의는 소형 모델로, 복잡한 계약 검토는 대형 모델로 보내는 모델 라우팅을 적용했다.
• 라우터가 어려운 질문을 쉬운 것으로 잘못 분류해서 소형 모델이 틀린 답을 냈다.
• 모델 라우팅 덕분에 월 호출 비용이 크게 줄었다.

헷갈리는 용어 비교

에이전트 워크플로

모델 라우팅은 요청에 맞는 모델을 고르는 한 가지 결정이고, 에이전트 워크플로는 여러 단계를 이어 일을 처리하는 전체 설계다. 라우팅이 워크플로의 한 단계가 될 수 있다.

오토스케일링

오토스케일링은 서버 자원 양을 늘리고 줄이는 일이고, 모델 라우팅은 어떤 모델이 요청을 처리할지 고르는 일이다.

맞춤법/표기법

바른 표기

모델 라우팅

주의할 표기

모델라우팅

원어

model routing

다른 이름

LLM 라우팅, LLM 라우터, 모델 라우터, model router, 모델 분기

참고

'라우팅'은 routing의 표기. 네트워크의 경로 설정에서 온 말이다.

관련어