RLHF
reinforcement learning from human feedback전문다른 이름: 인간 피드백 강화 학습
뜻풀이
쉬운 AI 사전
- [명사] (학습) 사람이 AI의 답에 '이게 더 좋다'고 점수를 매기고, 그 점수를 바탕으로 AI를 다시 가르치는 방법. 챗GPT가 공손하게 답하는 비결이다.
전문 AI 사전
- [명사] (학습) 인간 선호 비교 데이터로 보상 모델을 학습한 뒤 PPO 등 강화 학습으로 정책(언어 모델)을 최적화하는 정렬 기법. 이후 보상 모델 없이 선호를 직접 학습하는 DPO가 등장했다.
쉬운 비유
요리 대회에서 심사위원이 두 접시를 맛보고 더 맛있는 쪽을 고르면, 요리사가 그 평가를 바탕으로 솜씨를 고쳐 나가는 것과 같다. AI는 사람이 고른 쪽의 답에 가까워지도록 다듬어진다.
예문
- RLHF 단계를 거치면 모델이 지시를 훨씬 잘 따른다.
- 사전 학습만 한 모델은 말이 거칠었는데 RLHF를 거치고 나서 지시를 공손하게 따랐다.
헷갈리는 용어 비교
- 강화 학습
- 강화 학습은 보상을 받으며 배우는 학습 방식 전반이고, RLHF는 그 보상을 사람의 선호에서 얻는 특수한 형태다. 게임 점수처럼 규칙으로 보상이 정해지는 강화 학습과 달리 사람이 직접 판단한다.
- DPO
- RLHF는 보상 모델을 먼저 만들고 강화 학습으로 모델을 다듬는 단계적 방식이다. DPO는 보상 모델 없이 선호 데이터로 직접 학습해 절차가 단순하다.
맞춤법/표기법
- 바른 표기
- RLHF
- 원어
- RLHF
- 다른 이름
- 인간 피드백 강화 학습