모델 서빙

뜻풀이

쉬운 AI 사전

1. [명사] (인프라) 학습을 마친 AI 모델을 사람들이 요청하면 바로 답을 내주도록 켜 두는 일.

실무 AI 사전

1. [명사] (인프라) 모델을 서버에 올려 API로 요청을 받고 예측 결과를 돌려주는 운영 단계. 응답 속도, 동시 요청 수, GPU 비용 사이에서 균형을 잡는 것이 과제이며 요청이 몰려도 안정적으로 응답해야 한다.

전문 AI 사전

1. [명사] (인프라) 학습된 모델 가중치를 메모리에 올려 두고 추론 요청을 처리하는 시스템. 동적 배칭, 연속 배칭, 모델 병렬화, KV 캐시 관리, 양자화 같은 기법으로 처리량과 지연을 최적화한다. vLLM, Triton 같은 서빙 엔진이 쓰인다.

관용구/함께 쓰는 말

• 서빙 비용 — 모델을 켜 두고 요청에 응답하는 데 드는 서버 비용.
• 동적 배칭 — 들어온 요청 여러 개를 짧은 시간 모아 한 번에 처리하는 것.

쉬운 비유

식당에서 요리법을 아는 것(학습)과 주문이 들어올 때마다 따뜻한 음식을 내놓는 홀 운영(서빙)이 다른 것과 같다.

예문

• 새 모델을 서빙하려고 GPU 서버 두 대를 추가했다.
• 모델 서빙 쪽에서 요청이 밀려서 응답이 늦어졌다.
• 같은 모델이라도 서빙 방식에 따라 비용이 몇 배씩 차이 난다.

헷갈리는 용어 비교

모델 배포

배포는 모델을 운영 환경에 올려 쓸 수 있게 만드는 작업이고, 서빙은 올려진 모델이 요청을 받아 계속 답하는 상태와 방식을 뜻한다. 배포가 입점이라면 서빙은 영업이다.

맞춤법/표기법

바른 표기

모델 서빙

주의할 표기

모델 써빙

원어

model serving

다른 이름

모델 서비빙, 서빙, 추론 서버

참고

serving은 '서빙'. 식당 서빙과 같은 말이지만 AI에서는 모델 제공을 뜻한다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.