추론

뜻풀이

쉬운 AI 사전

1. [명사] (인프라) 다 배운 AI가 실제로 질문을 받고 답을 내는 단계. 학습이 '공부'라면 추론은 '시험 보기'다.

실무 AI 사전

1. [명사] (인프라) 학습된 모델에 입력을 넣어 출력을 얻는 과정. 서비스 운영 비용의 대부분을 차지하며 지연 시간(latency)과 처리량(throughput)이 핵심 지표다.

전문 AI 사전

1. [명사] (인프라) 고정된 파라미터로 순전파만 수행하는 단계. LLM에서는 자기회귀 디코딩, KV 캐시, 배칭, 양자화 등으로 최적화한다. 'reasoning(추론 능력)'과 번역이 겹치므로 문맥에 주의한다.

쉬운 비유

공부를 마친 학생이 시험장에서 실제로 문제를 푸는 순간과 같다. 학습은 공부하는 시간이고, 추론은 배운 것을 써서 답을 내는 시간이다.

예문

• 추론 비용을 줄이려고 작은 모델로 바꿨다.
• 사용자가 늘면서 추론 서버 비용이 학습 비용보다 더 큰 부담이 되었다.

헷갈리는 용어 비교

학습

학습은 데이터로 모델 내부를 고치는 단계이고, 추론은 고치지 않은 채 모델을 써서 답을 얻는 단계다. 서비스 운영 비용은 대부분 추론에서 계속 발생한다.

추론 모델

추론은 모델이 답을 내는 모든 과정을 말하는 용어이고, 추론 모델은 답하기 전에 오래 단계를 밟아 생각하도록 만든 모델 종류를 가리킨다. 이름이 비슷해 헷갈린다.

맞춤법/표기법

바른 표기

추론

원어

inference / reasoning

다른 이름

인퍼런스, 모델 실행

참고

inference(모델 실행)와 reasoning(논리적 사고) 둘 다 '추론'으로 번역되므로 영문을 병기하면 혼동을 줄일 수 있다.

관련어