다음 토큰 예측

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 앞에 나온 글을 보고 다음에 올 말을 맞히는 일. 대화형 AI가 글을 쓰는 가장 기본 원리다.

실무 AI 사전

1. [명사] (학습) LLM 사전 학습의 목표이자 추론에서 답을 만드는 방식이다. 모델은 토큰마다 확률을 내고 샘플링이나 디코딩 규칙으로 하나를 골라 이어 붙인다. 사실 확인이 아닌 그럴듯함을 최적화한다는 점이 할루시네이션의 배경이다.

전문 AI 사전

1. [명사] (학습) 어휘 전체에 대한 소프트맥스 분포 p(x_t|x_<t)를 출력하고 교차 엔트로피 손실로 학습한다. 규모가 커지면 요약, 번역, 추론 같은 능력이 부수적으로 나타난다.

관용구/함께 쓰는 말

• 다음 토큰 - 모델이 이어 붙일 말 한 조각.
• 토큰 확률 - 후보 토큰별 가능성.

쉬운 비유

휴대폰 자동완성이 다음 단어를 추천하는 원리를 아주 크게 키운 것이다.

예문

• 대화형 AI는 결국 다음 토큰 예측을 아주 많이 반복할 뿐이다.
• 다음 토큰 예측만으로 학습했는데도 번역을 어느 정도 하게 됐다.

헷갈리는 용어 비교

마스크 언어 모델

다음 토큰 예측은 앞만 보고 뒤를 맞히고, 마스크 언어 모델은 앞뒤를 보고 가운데를 맞힌다.

맞춤법/표기법

바른 표기

다음 토큰 예측

주의할 표기

다음토큰예측next word prediction

원어

next-token prediction

다른 이름

다음 단어 예측, next token prediction, 다음 토큰 맞히기, NTP

참고

'다음 단어 예측'이라고도 하지만 AI에서는 단어가 아니라 토큰 단위이다.

관련어