엔트로피

뜻풀이

쉬운 AI 사전

1. [명사] (통계/수학) 결과를 얼마나 예측하기 어려운지를 나타내는 값. 항상 앞면만 나오는 동전은 예측이 쉬워 0이고, 공정한 동전은 가장 어렵다.

실무 AI 사전

1. [명사] (통계/수학) 데이터나 예측의 불확실성을 재는 지표다. 결정 트리는 엔트로피가 가장 많이 줄어드는 기준으로 가지를 나누고, 모델 출력 확률의 엔트로피가 높으면 모델이 확신하지 못한다는 신호로 읽는다.

전문 AI 사전

1. [명사] (통계/수학) 이산 분포 p의 섀넌 엔트로피는 H(p) = -Σ p(x) log p(x) 이며, 최적 부호화에 필요한 평균 정보량(비트 또는 낫)이다. 균등 분포에서 최대이고 확정적인 분포에서 0이며 교차 엔트로피, KL 발산의 바탕이 된다.

관용구/함께 쓰는 말

• 정보 이득 - 나눈 뒤 엔트로피가 얼마나 줄었는지 나타내는 값.
• 엔트로피가 높다 - 결과가 고르게 퍼져 예측하기 어렵다.

쉬운 비유

상자 속 공이 모두 빨간색이면 뽑기 전에 이미 답을 알아 놀랄 일이 없다. 색이 골고루 섞여 있으면 뽑을 때마다 놀라는데, 그 놀람의 평균이 엔트로피다.

예문

• 결정 트리는 정보 이득이 가장 큰, 곧 엔트로피가 가장 많이 줄어드는 질문으로 데이터를 나눈다.
• 출력 확률의 엔트로피가 높은 샘플은 모델이 헷갈려 하는 것이니 따로 검토했다.
• 온도를 높이면 다음 토큰 분포의 엔트로피가 커져 답이 더 다양해진다.

헷갈리는 용어 비교

교차 엔트로피

엔트로피는 한 분포 자체의 불확실성이고, 교차 엔트로피는 실제 분포를 다른 분포로 부호화할 때 드는 평균 정보량이다. 엔트로피는 교차 엔트로피의 가장 작은 값이다.

맞춤법/표기법

바른 표기

엔트로피

원어

entropy

다른 이름

정보 엔트로피, 섀넌 엔트로피, 엔트로피 값, 불확실성

참고

물리학의 열역학 엔트로피와 이름이 같지만, AI에서는 정보 이론의 섀넌 엔트로피를 가리킨다.

관련어