보상 모델

뜻풀이

쉬운 AI 사전

1. [명사] (학습) AI의 답이 얼마나 좋은지 점수를 매기도록 따로 훈련시킨 채점용 모델.

실무 AI 사전

1. [명사] (학습) 사람이 고른 선호 데이터로 학습해 답변마다 점수를 내 준다. RLHF에서 이 점수가 언어 모델의 학습 신호가 되고, 후보 답변 중 최고를 고르는 용도로도 쓴다.

전문 AI 사전

1. [명사] (학습) 프롬프트와 응답을 입력받아 스칼라 보상을 출력하는 모델. 선호 쌍에 대해 선택된 응답의 점수가 더 높도록 브래들리-테리 모형 기반의 손실로 학습하는 것이 일반적이다. 점수가 실제 품질과 어긋나면 모델이 점수만 노리는 보상 해킹이 생긴다.

관용구/함께 쓰는 말

• 보상 모델 학습 — 선호 쌍을 이용해 채점 모델을 만드는 일.
• 보상 점수 — 보상 모델이 응답에 매기는 값.

쉬운 비유

요리 대회 심사위원을 따로 훈련시켜 두고, 참가자는 그 심사위원의 점수를 높이는 방향으로 요리를 고쳐 가는 것과 같다.

예문

• 보상 모델이 긴 답변에 점수를 후하게 주는 바람에 학습된 모델이 쓸데없이 길어졌다.
• 사람 평가 5만 건으로 보상 모델을 만든 뒤 PPO 단계에서 채점관으로 썼다.
• 보상 모델이 놓친 오류는 최종 모델에 그대로 전해지니 별도 평가셋으로 점검해야 한다.

헷갈리는 용어 비교

LLM 심판

보상 모델은 학습 신호를 만들려고 선호 데이터로 훈련한 채점기이고, LLM 심판은 이미 있는 언어 모델에 평가 지시를 줘서 결과를 채점하는 방식이다. 쓰임은 학습용과 평가용으로 갈린다.

DPO

DPO는 보상 모델을 따로 만들지 않고 선호 쌍에서 곧장 학습한다. 보상 모델 방식은 별도의 채점기가 있어 점수 재사용이 쉽다.

맞춤법/표기법

바른 표기

보상 모델

주의할 표기

보상모델

원어

reward model

다른 이름

리워드 모델, 보상 모형, RM, 선호 점수 모델

참고

'리워드 모델'로 적는 글도 많다. 같은 뜻이다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.