PPO

뜻풀이

쉬운 AI 사전

1. [명사] (학습) AI가 점수를 받으며 배우되, 한 번에 너무 크게 바뀌지 않도록 조심스럽게 고쳐 가는 강화 학습 방법.

실무 AI 사전

1. [명사] (학습) RLHF에서 보상 모델의 점수를 높이는 방향으로 언어 모델을 업데이트할 때 널리 쓰였다. 학습이 불안정해지기 쉬워 하이퍼파라미터 조정과 기준 모델 대비 이탈 제한이 중요하다.

전문 AI 사전

1. [명사] (학습) 정책이 한 번의 갱신에서 이전 정책으로부터 너무 멀어지지 않도록 확률비를 클리핑한 대리 목적 함수를 최적화하는 정책 경사 알고리즘. 언어 모델 정렬에서는 보통 KL 발산 패널티를 함께 써 기준 모델에서 벗어나는 정도를 제한한다.

관용구/함께 쓰는 말

• PPO 학습 — 보상에 맞춰 정책을 조금씩 고치는 강화 학습 단계.
• 클리핑 — 갱신 폭이 너무 커지지 않도록 비율을 잘라 제한하는 일.

쉬운 비유

자전거를 배울 때 한 번에 핸들을 확 꺾지 않고 조금씩만 틀어 균형을 잡아 가는 것과 같다. 크게 꺾으면 넘어진다.

예문

• RLHF 학습에 PPO를 썼더니 보상 점수는 오르는데 답변이 이상해지는 보상 해킹이 나타났다.
• PPO는 가치 모델까지 함께 학습해야 해서 DPO보다 메모리를 훨씬 많이 쓴다.
• PPO의 클리핑 범위를 줄이니 학습이 안정됐다.

헷갈리는 용어 비교

DPO

PPO는 보상 모델과 가치 모델이 필요한 온라인 강화 학습 방식이고, DPO는 선호 쌍 데이터만으로 학습하는 오프라인 방식이다. DPO가 구성이 간단하다.

강화 학습

강화 학습은 보상을 받아 행동을 개선하는 학습의 큰 분야이고, PPO는 그 안의 구체적인 알고리즘 하나다.

맞춤법/표기법

바른 표기

PPO

주의할 표기

피피오P.P.O

원어

proximal policy optimization (PPO)

다른 이름

근접 정책 최적화, 프록시멀 정책 최적화

참고

'proximal'은 '프록시멀'로 읽는다. 번역어는 '근접 정책 최적화'다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.