AI 평가

뜻풀이

쉬운 AI 사전

1. 「명사」 『평가』 AI가 일을 얼마나 잘하는지 시험하고 점수 매기는 것.

실무 AI 사전

1. 「명사」 『평가』 벤치마크, 사람 평가, LLM 심판(LLM-as-a-judge), 운영 지표로 모델, 프롬프트 품질을 측정하는 활동. 프롬프트를 바꿀 때마다 자동 평가를 돌리는 것이 모범 사례다.

쉬운 비유

새 학생을 뽑을 때 시험지를 만들어 같은 문제로 채점해 보는 것과 같다. 감으로 잘한다고 믿지 않고 점수표로 확인한다.

예문

• 프롬프트를 고칠 때마다 AI 평가 세트 200문항을 돌린다.
• 모델을 바꾸기 전에 AI 평가부터 돌려 보니 기존 모델보다 요약 품질이 오히려 떨어지는 항목이 있었다.

헷갈리는 용어 비교

벤치마크

벤치마크는 여러 모델을 같은 조건에서 비교하기 위해 공개적으로 쓰는 표준 시험이다. AI 평가는 그보다 넓은 활동으로, 우리 서비스 상황에 맞춘 자체 문제 세트와 운영 지표까지 포함한다.

레드팀

AI 평가는 품질과 정확도를 전반적으로 점검하고, 레드팀은 공격자의 입장에서 위험한 답이나 취약점을 일부러 끌어내 본다. 레드팀은 안전 쪽에 치우친 평가의 한 방법이다.

맞춤법/표기법

바른 표기

AI 평가

원어

evaluation (evals)

다른 이름

이밸류에이션, evals, 모델 평가

관련어

마지막 확인 2026-10-14
뜻풀이는 학습용 참고 자료입니다.