교차 엔트로피

뜻풀이

쉬운 AI 사전

1. [명사] (통계/수학) 정답과 모델의 예측이 얼마나 어긋나 있는지 재는 대표적인 자. 정답 클래스에 낮은 확률을 줄수록 큰 벌점을 준다.

실무 AI 사전

1. [명사] (통계/수학) 분류 모델을 학습시킬 때 가장 흔한 손실 함수다. 마지막 층에서 소프트맥스를 거친 확률과 정답 라벨을 비교하며, 언어 모델도 다음 토큰을 맞히는 교차 엔트로피로 사전 학습한다.

전문 AI 사전

1. [명사] (통계/수학) 참 분포 p와 모델 분포 q에 대해 H(p,q) = -Σ p(x) log q(x) 이다. 원핫 정답이면 정답 클래스 확률의 음의 로그 -log q(y)와 같고, H(p,q)=H(p)+KL(p||q) 이므로 최소화는 KL 발산 최소화이자 최대 우도 추정이다.

관용구/함께 쓰는 말

• 교차 엔트로피 손실 - 분류 모델 학습에 쓰는 대표 손실 함수.
• 로그 손실 - 교차 엔트로피와 같은 뜻으로 쓰는 말.

쉬운 비유

시험 정답이 B인데 B에 자신 있게 걸수록 점수를 잃지 않고, B에 거의 안 걸었다가 틀리면 큰 감점을 받는 채점 방식과 같다.

예문

• 이진 분류에는 이진 교차 엔트로피를, 여러 클래스에는 범주형 교차 엔트로피를 쓴다.
• 정답에 0.01을 준 예측은 교차 엔트로피 손실이 크게 나온다.
• 언어 모델의 퍼플렉서티는 교차 엔트로피에 지수를 취한 값이다.

헷갈리는 용어 비교

KL 발산

교차 엔트로피는 엔트로피에 KL 발산을 더한 값이다. 정답 분포가 고정되어 있으면 엔트로피가 상수라서, 교차 엔트로피를 줄이는 일이 KL 발산을 줄이는 일과 같다.

맞춤법/표기법

바른 표기

교차 엔트로피

원어

cross-entropy

다른 이름

크로스 엔트로피, 크로스엔트로피, cross entropy, 교차엔트로피, 로그 손실

참고

현장에서는 '크로스 엔트로피'라고 더 자주 읽는다.

관련어