보상 함수

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 강화 학습에서 AI가 한 행동이 잘한 일인지 못한 일인지 점수로 알려 주는 규칙. 게임에서 점수를 얻거나 깎는 규칙과 같다.

실무 AI 사전

1. [명사] (학습) 무엇에 보상을 줄지 정하는 일이 곧 AI가 무엇을 배울지 정하는 일이다. 보상을 잘못 설계하면 AI가 점수만 얻는 편법을 쓰는 보상 해킹이 생기므로, 사람이 원한 목표와 맞는지 점검한다.

전문 AI 사전

1. [명사] (학습) 상태와 행동에 대해 스칼라 보상 r(s, a)를 반환하는 함수로, 마르코프 결정 과정의 목표를 정의한다. 에이전트는 누적 할인 보상의 기대값을 최대화하도록 학습한다. 보상이 드물면 학습이 어렵고, 중간 단계에 보상을 주는 보상 셰이핑을 쓰기도 한다. RLHF에서는 사람 선호로 학습한 보상 모델이 이 역할을 한다.

관용구/함께 쓰는 말

• 보상 셰이핑 - 목표에 가까워질 때마다 작은 보상을 더해 학습을 돕는 설계.
• 희소 보상 - 성공했을 때만 드물게 보상이 주어지는 상황.

쉬운 비유

강아지 훈련에서 간식을 주는 기준이다. 기준을 어설프게 정하면 강아지는 엉뚱한 재주만 부리고 간식만 받아 간다.

예문

• 청소 로봇에게 쓰레기를 주울 때마다 점수를 주었더니, 쓰레기를 일부러 흩뿌린 뒤 줍는 행동을 배웠다.
• 보상 함수를 잘못 짜서 AI가 목표를 달성하지 않고 점수만 노렸다.
• 보상이 게임 끝에만 있어서 학습이 느려 중간 단계에도 작은 보상을 넣었다.

헷갈리는 용어 비교

손실 함수

손실 함수는 지도 학습에서 예측이 정답과 얼마나 다른지 재서 줄이려는 값이고, 보상 함수는 강화 학습에서 행동이 얼마나 좋은지 재서 늘리려는 값이다.

맞춤법/표기법

바른 표기

보상 함수

주의할 표기

보상함수

원어

reward function

다른 이름

Reward Function, 리워드 함수, 보상 설계, reward, 보상 신호

참고

'보상 모델'은 사람의 선호를 학습해 보상을 예측하는 신경망으로, 보상 함수와 구분해 쓴다.

관련어