DPO

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 사람이 '이 답이 더 낫다'고 고른 짝 데이터만으로 AI의 답변 취향을 곧바로 맞추는 학습법.

실무 AI 사전

1. [명사] (학습) RLHF처럼 보상 모델을 따로 만들고 강화 학습을 돌리지 않아도, 좋은 답과 나쁜 답 쌍만 있으면 정렬 학습을 할 수 있다. 구성이 단순해 중소 규모 팀이 선호 데이터로 모델을 다듬을 때 자주 쓴다.

전문 AI 사전

1. [명사] (학습) 보상 모델을 명시적으로 학습하지 않고, 선호 데이터에 대한 분류형 손실로 정책을 직접 최적화하는 방법. 선호 응답과 비선호 응답의 로그 확률 비를 기준 모델에 대해 비교하는 항으로 이루어진다.

관용구/함께 쓰는 말

• DPO 학습 - 선호 쌍 데이터로 모델을 직접 맞추는 일.
• 선호 쌍 - 같은 질문에 대한 좋은 답과 덜 좋은 답의 묶음.

쉬운 비유

시식 평가에서 '두 음식 중 어느 쪽이 더 맛있나'만 투표받아 곧바로 요리 방식을 고치는 것과 같다. 점수표를 따로 만들 필요가 없다.

예문

• DPO로 학습하니 보상 모델을 따로 만들 필요가 없어 학습 파이프라인이 훨씬 단순해졌다.
• 선호 데이터에 서로 다른 평가자의 판단이 섞여 있어서 DPO 결과가 불안정했다.
• SFT를 마친 모델을 기준으로 DPO를 돌렸다.

헷갈리는 용어 비교

PPO

PPO는 보상 모델의 점수를 보며 강화 학습으로 모델을 조금씩 바꾸는 방식이고, DPO는 선호 쌍에서 곧바로 손실을 계산해 학습한다. DPO가 더 단순하지만 설정에 따라 결과는 달라질 수 있다.

RLHF

RLHF는 보상 모델과 강화 학습을 쓰는 대표적인 정렬 방식의 이름이고, DPO는 그 과정을 단순화한 선호 기반 학습법이다.

맞춤법/표기법

바른 표기

DPO

주의할 표기

디피오D.P.O

원어

direct preference optimization (DPO)

다른 이름

직접 선호 최적화, 직접 선호도 최적화

참고

'직접 선호 최적화'가 번역어지만 DPO가 압도적으로 흔하다.

관련어