토큰

뜻풀이

쉬운 AI 사전

1. 「명사」 『언어』 AI가 글을 읽을 때 쪼개는 단위. 글자 하나일 수도, 단어 하나일 수도 있다. AI 서비스 요금은 보통 토큰 개수로 계산한다.

실무 AI 사전

1. 「명사」 『언어』 언어 모델의 입출력 기본 단위. 한국어는 영어보다 같은 글에 토큰이 더 많이 드는 편이라 비용과 컨텍스트 한도를 계산할 때 주의해야 한다.

전문 AI 사전

1. 「명사」 『언어』 토크나이저(BPE, SentencePiece 등)가 텍스트를 분할해 만든 어휘 사전의 원소. 각 토큰은 정수 ID로 매핑되어 임베딩 벡터로 변환된다.

관용구/함께 쓰는 말

• 입력 토큰 / 출력 토큰 — 모델에 넣은 글의 토큰 수와 모델이 만들어 낸 글의 토큰 수. 요금이 다르게 매겨진다.
• 토큰 한도 — 한 번에 처리할 수 있는 최대 토큰 수.

쉬운 비유

글을 레고 블록처럼 잘게 나눈 조각이다. AI는 문장을 통째로 읽지 않고 이 블록을 하나씩 세며 읽는다.

예문

• 이 모델은 한 번에 20만 토큰까지 읽을 수 있다.
• API 요금이 토큰 100만 개당 몇 달러인지 확인했다.
• 한국어는 같은 내용도 영어보다 토큰이 더 많이 나오는 경우가 있어 비용을 따로 계산했다.

헷갈리는 용어 비교

컨텍스트 윈도

토큰은 글을 세는 단위이고, 컨텍스트 윈도는 모델이 한 번에 다룰 수 있는 토큰의 최대 개수다. 토큰은 자, 컨텍스트 윈도는 책상 크기에 가깝다.

파라미터

토큰은 입력과 출력의 글 조각이고, 파라미터는 모델 내부에 저장된 학습된 숫자다. 요금은 토큰 수에 따라 붙고, 모델 크기는 파라미터 수로 말한다.

맞춤법/표기법

바른 표기

토큰

주의할 표기

토큰즈토큐

원어

token

다른 이름

토큰화

참고

'토큰화(tokenization)'는 글을 토큰으로 쪼개는 과정이다.

관련어

마지막 확인 2026-10-14
뜻풀이는 학습용 참고 자료입니다.