MMLU

뜻풀이

쉬운 AI 사전

1. [명사] (평가) 여러 학문 분야의 객관식 문제로 AI의 지식을 재는 시험. 수학, 역사, 법, 의학 같은 과목이 섞여 있다.

실무 AI 사전

1. [명사] (평가) 모델 소개 자료에 자주 나오는 대표 점수다. 다만 객관식 지식 시험이라 대화 품질이나 업무 수행 능력까지 보여 주지는 않으므로, 선택 기준의 하나로만 본다.

전문 AI 사전

1. [명사] (평가) 57개 과목에 걸친 4지선다 문제로 구성된 벤치마크로, 제로샷이나 퓨샷 설정에서 정답률을 잰다. 널리 쓰여 포화(점수 상한 근접)되고 문항 오류와 유출 문제가 지적되어, 더 어려운 변형판이 나와 있다.

관용구/함께 쓰는 말

• MMLU 점수 - MMLU에서 맞힌 문제의 비율.

쉬운 비유

전 과목을 한 번에 보는 종합 모의고사다. 총점은 높아도 면접이나 글짓기 실력은 별개다.

예문

• 새 모델은 MMLU 점수가 높지만 우리 상담 로그로 따로 평가해 보니 기대에 못 미쳤다.
• MMLU는 객관식이라 긴 글쓰기 실력은 알려 주지 않는다.

헷갈리는 용어 비교

벤치마크

벤치마크는 평가 시험 전반을 부르는 말이고, MMLU는 그중 지식 이해를 재는 한 종류다.

맞춤법/표기법

바른 표기

MMLU

주의할 표기

엠엠엘유

원어

MMLU (Massive Multitask Language Understanding)

다른 이름

MMLU 벤치마크, 다분야 언어 이해 평가

참고

읽을 때는 '엠엠엘유'. 영문 약어 그대로 적는다.

관련어