AI 용어사전 › 언어, 모델

어휘 집합

vocabulary전문

다른 이름: 어휘 사전, 보캡, vocab, 어휘집

뜻풀이

쉬운 AI 사전

  1. [명사] (언어) AI 모델이 알고 있는 토큰 전체의 목록. 모델은 이 목록에 있는 조각만 읽고 쓸 수 있다.

실무 AI 사전

  1. [명사] (언어) 어휘 집합이 크면 문장이 적은 토큰으로 표현돼 길이와 비용이 줄지만, 모델의 임베딩층과 출력층이 커진다. 다국어 서비스를 고를 때 그 모델 어휘에 한국어 조각이 얼마나 들어 있는지가 효율을 가른다.

전문 AI 사전

  1. [명사] (언어) 토크나이저가 정의한 유한한 토큰 집합 V로, 각 원소는 정수 ID를 갖는다. 입력 임베딩 행렬과 출력 로짓층의 크기가 |V|에 비례하며, 특수 토큰(문장 시작, 끝, 패딩 등)도 여기에 포함된다. 보통 수만에서 수십만 개 규모다.

관용구/함께 쓰는 말

  • 어휘 크기 - 어휘 집합에 든 토큰의 개수.
  • 어휘 밖 단어 - 어휘 집합에 없는 단어. 영어로 OOV라고 한다.

쉬운 비유

예문

  • 어휘 집합을 늘린 새 버전은 한국어 문장을 훨씬 적은 토큰으로 처리한다.
  • 파인튜닝하면서 특수 토큰을 추가하려면 어휘 집합과 임베딩 크기를 함께 늘려야 한다.

헷갈리는 용어 비교

데이터셋
데이터셋은 학습에 쓰는 실제 문장과 예시의 모음이고, 어휘 집합은 그 문장을 자를 때 쓰는 조각 목록이다. 데이터셋은 수십억 문장일 수 있지만 어휘 집합은 고정된 수만 개 남짓의 토큰이다.

맞춤법/표기법

바른 표기
어휘 집합
주의할 표기
어휘집합어휘 집함
원어
vocabulary (vocab)
다른 이름
어휘 사전, 보캡, vocab, 어휘집
참고
현장에서는 영어를 줄여 '보캡'이라고도 부른다. 띄어 쓰는 '어휘 집합'이 표준 표기에 가깝다.

관련어

토크나이저BPE토큰임베딩