BPE
byte pair encoding전문다른 이름: 바이트 페어 인코딩, 바이트 쌍 인코딩, byte-level BPE
뜻풀이
쉬운 AI 사전
- [명사] (언어) 글에서 자주 붙어 나오는 글자 쌍을 하나로 합치는 일을 되풀이해 토큰 목록을 만드는 방법. 많은 LLM이 이 방식으로 단어를 쪼갠다.
실무 AI 사전
- [명사] (언어) 학습 말뭉치에 많이 나온 언어일수록 큰 덩어리로 합쳐지기 때문에, 말뭉치 비중이 적은 언어는 토큰이 잘게 쪼개져 비용과 길이 면에서 불리해진다. 새 토크나이저를 학습시킬 때는 한국어 데이터 비중을 따로 챙기는 이유다.
전문 AI 사전
- [명사] (언어) 본래 데이터 압축 기법으로, 문자(또는 바이트) 단위에서 시작해 가장 빈도 높은 인접 쌍을 새 기호로 병합하는 과정을 목표 어휘 크기에 이를 때까지 반복한다. Sennrich 등이 신경망 번역의 미등록어 문제를 풀려고 도입했고, 바이트 단위 BPE는 어떤 문자열도 미등록어 없이 표현할 수 있다.
관용구/함께 쓰는 말
- BPE 병합 규칙 — 어떤 글자 쌍을 어떤 순서로 합칠지 적어 둔 목록.
쉬운 비유
자주 쓰는 말을 줄임말로 만드는 것과 비슷하다. '그런데'를 매번 쓰다 보면 하나의 덩어리처럼 다루게 되듯, 자주 붙어 나오는 글자들을 한 칸으로 묶는다.
예문
- BPE 토크나이저는 처음 보는 신조어도 작은 조각으로 쪼개서 어떻게든 처리한다.
- 한국어 데이터를 더 넣어 BPE를 다시 학습시키니 같은 문장의 토큰 수가 줄었다.
헷갈리는 용어 비교
- WordPiece
- 둘 다 서브워드를 합쳐 가는 방식이지만, BPE는 가장 자주 나오는 쌍을 합치고 WordPiece는 합쳤을 때 말뭉치 우도가 가장 크게 오르는 쌍을 고른다. BERT 계열은 WordPiece, GPT 계열은 주로 BPE를 쓴다.
맞춤법/표기법
- 바른 표기
- BPE
- 주의할 표기
- BEP비피이
- 원어
- BPE (Byte Pair Encoding)
- 다른 이름
- 바이트 페어 인코딩, 바이트 쌍 인코딩, byte-level BPE
- 참고
- 보통 '비피이'로 읽지 않고 영문 약어 그대로 쓴다. 다듬은 말은 '바이트 쌍 인코딩'.
관련어
마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.