KL 발산

뜻풀이

쉬운 AI 사전

1. [명사] (통계/수학) 두 확률 분포가 얼마나 다른지를 재는 값. 둘이 똑같으면 0이고 다를수록 커진다.

실무 AI 사전

1. [명사] (통계/수학) 모델이 만든 분포를 기준 분포에 가깝게 유지할 때 쓴다. VAE는 잠재 분포를 정규 분포에 가깝게 묶는 데, 강화 학습 기반 정렬은 새 모델이 원래 모델에서 너무 멀어지지 못하게 패널티로 쓰며, 지식 증류에도 쓴다.

전문 AI 사전

1. [명사] (통계/수학) D_KL(P||Q) = Σ P(x) log(P(x)/Q(x)) 로 항상 0 이상이며 P=Q일 때만 0이다. 비대칭이라 거리 공리를 만족하지 않으며, 방향에 따라 분포를 덮으려는 성질(순방향)과 한 봉우리를 따르려는 성질(역방향)이 다르다.

관용구/함께 쓰는 말

• KL 패널티 - 기준 분포와 멀어질수록 점수를 깎는 규제.
• 비대칭성 - P에서 Q까지와 Q에서 P까지의 값이 다르다는 성질.

쉬운 비유

두 사람이 같은 도시를 그린 지도가 얼마나 다른지 비교하는 것과 같다. 다만 누구의 지도를 기준으로 삼느냐에 따라 점수가 달라진다.

예문

• RLHF에서는 정책이 기준 모델에서 너무 벗어나지 않도록 KL 발산 패널티를 둔다.
• VAE의 손실에는 복원 오차와 KL 발산 항이 함께 들어간다.
• 학생 모델의 출력 분포를 교사 모델에 가깝게 하려고 KL 발산을 줄였다.

헷갈리는 용어 비교

유클리드 거리

KL 발산은 두 확률 분포의 차이를 재고 방향에 따라 값이 달라지지만, 유클리드 거리는 점 사이를 직선으로 재고 방향과 무관하다. KL 발산은 엄밀한 거리가 아니다.

맞춤법/표기법

바른 표기

KL 발산

주의할 표기

KL 발산도

원어

Kullback-Leibler divergence

다른 이름

KL 다이버전스, 쿨백 라이블러 발산, KL divergence, 상대 엔트로피, KLD

참고

'쿨백-라이블러 발산'이 전체 이름이다. 업계에서는 '케이엘 다이버전스'로 읽는다.

관련어