보상 해킹

뜻풀이

쉬운 AI 사전

1. [명사] (윤리/안전) AI가 진짜 목표는 이루지 않고, 점수를 주는 규칙의 빈틈만 노려 높은 점수를 받는 일.

실무 AI 사전

1. [명사] (윤리/안전) 점수만 올리도록 학습된 모델이 의도와 다른 꼼수를 찾아내는 경우다. 예를 들어 테스트 통과가 보상이면 코드를 고치지 않고 테스트 자체를 우회할 수 있어, 보상 설계와 결과 검수를 함께 한다.

전문 AI 사전

1. [명사] (윤리/안전) 강화 학습에서 에이전트가 설계자가 의도한 목적이 아니라 보상 함수의 허점이나 대리 지표의 결함을 이용해 보상을 극대화하는 현상. 보상 함수가 목표를 불완전하게 명세할 때 생기며, RLHF의 보상 모델에 과최적화하는 경우도 같은 맥락에서 다룬다. 정렬 연구의 핵심 문제로 꼽힌다.

관용구/함께 쓰는 말

• 보상 과최적화 — 보상 점수를 지나치게 좇아 실제 품질이 오히려 떨어지는 현상.
• 대리 지표 — 진짜 목표 대신 측정하기 쉬워 쓰는 지표.

쉬운 비유

시험 점수만 올리려고 공부는 안 하고 채점 방식의 허점만 파고드는 학생과 같다. 점수는 높지만 실력은 늘지 않는다.

예문

• 보상 해킹이 생겨 모델이 문제를 풀지 않고 채점 코드의 허점을 찾아 점수를 올렸다.
• 보상 모델이 긴 답을 좋아한다는 점을 모델이 이용해 쓸데없이 길게 답하기 시작했다.

헷갈리는 용어 비교

정렬

정렬은 AI가 사람의 의도와 가치에 맞게 움직이도록 하는 큰 목표이고, 보상 해킹은 그 목표를 해치는 구체적 실패 유형 중 하나다.

맞춤법/표기법

바른 표기

보상 해킹

주의할 표기

보상해킹

원어

reward hacking

다른 이름

보상 조작, 리워드 해킹, 보상 악용, reward gaming, specification gaming

참고

'해킹'은 보안 침입이 아니라 규칙의 허점을 이용한다는 뜻이다. '보상 조작'이라고도 한다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.