토크나이저

뜻풀이

쉬운 AI 사전

1. [명사] (언어) 문장을 AI가 읽을 수 있는 작은 조각(토큰)으로 자르고 번호를 붙여 주는 도구. AI는 글자를 그대로 읽지 못하고 이 번호들을 읽는다.

실무 AI 사전

1. [명사] (언어) 모델마다 정해진 토크나이저가 있어서, 같은 문장도 모델에 따라 토큰 수가 달라진다. API 요금, 컨텍스트 한도 계산, 입력 길이 자르기가 모두 토크나이저 기준이라 비용 추정 전에 해당 모델의 토크나이저로 세어 봐야 한다.

전문 AI 사전

1. [명사] (언어) 원문 문자열을 정규화한 뒤 BPE, WordPiece, Unigram 같은 서브워드 알고리즘으로 분할하고 어휘 집합의 정수 ID로 사상하는 전처리기. 역방향으로 ID 열을 문자열로 되돌리는 디코딩 기능도 함께 갖는다.

관용구/함께 쓰는 말

• 토크나이저로 세다 — 요금이나 길이 한도를 확인하려고 실제 토큰 수를 계산하다.
• 토크나이저 호환 — 모델과 같은 토크나이저를 써야 입력이 올바르게 해석된다는 뜻.

쉬운 비유

국수 기계의 칼날과 같다. 같은 반죽이라도 칼날 간격에 따라 면 가닥 수가 달라지듯, 같은 문장도 토크나이저에 따라 토큰 수가 달라진다.

예문

• 같은 보고서를 넣었는데 모델을 바꾸니 토크나이저가 달라서 토큰 수가 꽤 차이 났다.
• 한국어를 잘게 쪼개는 토크나이저를 쓰면 같은 내용이라도 요금이 더 나온다.

헷갈리는 용어 비교

토큰

토큰은 잘려 나온 조각 하나하나이고, 토크나이저는 그 조각을 만드는 규칙과 도구다. 요금은 토큰 수로 매기지만 그 수를 정하는 쪽은 토크나이저다.

형태소 분석

형태소 분석은 언어학적으로 의미 있는 단위(어간, 조사 등)로 나누지만, LLM 토크나이저는 자주 나오는 문자 묶음을 통계적으로 잘라 의미 단위와 어긋날 때가 많다.

맞춤법/표기법

바른 표기

토크나이저

주의할 표기

토크나이져토커나이저

원어

tokenizer

다른 이름

토큰 분리기, tokeniser

참고

외래어 표기법상 'ㅈ' 뒤에 'ㅕ'를 쓰지 않으므로 '토크나이저'가 맞다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.