마스크 언어 모델

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 문장에서 일부 단어를 가리고 그 빈칸을 앞뒤 문맥으로 맞히며 학습하는 방식. 양방향으로 문맥을 이해하는 힘이 길러진다.

실무 AI 사전

1. [명사] (학습) BERT 계열 사전 학습의 핵심이다. 문장 이해나 분류에 쓸 표현을 만들 때 적합하다. 마스크 비율, 마스킹 단위(단어/구)를 조정해 성능을 맞춘다.

전문 AI 사전

1. [명사] (학습) 입력 토큰의 약 15% 정도를 [MASK] 등으로 바꾸고 원래 토큰을 소프트맥스로 복원하도록 교차 엔트로피로 학습한다. 비마스크 위치에는 손실을 주지 않으며 학습과 추론 사이 [MASK] 불일치가 있다.

관용구/함께 쓰는 말

• [MASK] 토큰 - 가려진 자리를 나타내는 특수 토큰.
• MLM 손실 - 가려진 토큰을 맞힌 정도를 재는 손실.

쉬운 비유

국어 시험의 빈칸 채우기 연습과 같다. 앞뒤 문장을 모두 읽어야 정답을 찾는다.

예문

• 마스크 언어 모델은 빈칸을 맞히는 방식이라 글을 이어 쓰기는 어렵다.
• 한국어 BERT를 처음부터 학습할 때 마스크 비율을 바꿔 봤다.

헷갈리는 용어 비교

다음 토큰 예측

마스크 언어 모델은 문장 이해에, 다음 토큰 예측은 문장 생성에 알맞은 학습 목표다.

맞춤법/표기법

바른 표기

마스크 언어 모델

주의할 표기

마스크드 LM마스크언어모델

원어

masked language model

다른 이름

마스크드 언어 모델, MLM, 마스크 언어 모델링, masked language modeling, 빈칸 채우기 학습

참고

줄임말은 MLM이다.

관련어