LLM 심판

뜻풀이

쉬운 AI 사전

1. [명사] (평가) 다른 AI의 답을 사람 대신 채점하는 AI. 채점 기준표를 주고 점수를 매기게 한다.

실무 AI 사전

1. [명사] (평가) 답변이 수천 건일 때 사람이 일일이 읽기 어려우므로, 강한 모델에게 기준표와 함께 답을 보여 주고 점수나 우열을 매기게 한다. 사람 채점과 일부를 대조해 믿을 만한지 먼저 확인해야 한다.

전문 AI 사전

1. [명사] (평가) 평가 대상 모델의 출력을 다른 LLM이 루브릭에 따라 단일 채점하거나 두 답을 쌍으로 비교하는 방식. 긴 답을 선호하는 길이 편향, 앞에 놓인 답을 선호하는 위치 편향, 자기 모델 출력을 선호하는 편향이 알려져 있어 순서 섞기와 사람 검수로 보정한다.

관용구/함께 쓰는 말

• 루브릭 채점 — 평가 항목과 점수 기준을 적은 표에 따라 점수를 매기는 일.
• 쌍 비교 — 두 답변 중 더 나은 쪽을 고르게 하는 평가 방식.

쉬운 비유

심사위원 한 명이 수백 명의 참가자 공연을 채점하는 것과 비슷하다. 빠르지만 그 심사위원의 취향이 점수에 섞일 수 있다.

예문

• 요약 품질을 LLM 심판으로 채점하되, 매주 50건은 사람이 다시 봐서 점수가 맞는지 확인한다.
• 두 챗봇 답변의 순서를 바꿔 두 번 비교시켰더니 심판 점수가 뒤집혀서 위치 편향을 의심했다.

헷갈리는 용어 비교

사람 평가

사람 평가는 정확하지만 느리고 비싸고, LLM 심판은 빠르고 싸지만 편향이 있다. 그래서 LLM 심판을 쓰더라도 사람 평가로 주기적으로 검증한다.

벤치마크

벤치마크는 정답이 정해진 문제 모음으로 채점하고, LLM 심판은 정답이 하나로 정해지지 않는 열린 답변을 채점할 때 쓴다.

맞춤법/표기법

바른 표기

LLM 심판

주의할 표기

LLM 판사

원어

LLM-as-a-judge

다른 이름

LLM 판정관, LLM 평가자, 엘엘엠 저지, LLM-as-a-judge

참고

영어 약칭 LLM과 한글 '심판'을 붙여 쓴다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.