소프트맥스

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 여러 후보의 점수를 받아 전부 더하면 1이 되는 확률로 바꿔 주는 함수. 점수가 가장 높은 후보가 가장 큰 확률을 받는다.

실무 AI 사전

1. [명사] (모델) 고양이, 개, 새 중 하나를 고르는 다중 분류 모델의 출력층과, LLM이 다음 토큰을 고를 때 어휘 전체에 확률을 매기는 마지막 단계에 쓴다. 점수를 온도 값으로 나눈 뒤 소프트맥스를 적용하면 확률 분포를 더 뾰족하게 또는 평평하게 조절할 수 있다.

전문 AI 사전

1. [명사] (모델) softmax(z)_i = exp(z_i) / Σ_j exp(z_j). 지수 때문에 큰 로짓에서 값이 넘칠 수 있어 구현에서는 최댓값을 빼고 계산한다. 교차 엔트로피 손실과 함께 쓰면 로짓에 대한 기울기가 '예측 확률 − 정답'의 간단한 꼴이 되며, 어텐션 가중치 계산에도 들어간다.

관용구/함께 쓰는 말

• 소프트맥스 출력 - 클래스별 확률을 담은 벡터로, 모두 더하면 1이다.
• 로짓 - 소프트맥스에 들어가기 전의 정규화되지 않은 점수.

쉬운 비유

반 아이들의 인기 투표 점수를 득표율로 바꾸는 계산과 비슷하다. 지수를 쓰기 때문에 점수 차이가 조금만 나도 1등이 득표율을 크게 가져간다.

예문

• 모델이 내놓은 로짓을 소프트맥스에 통과시키니 '개'일 확률이 0.82로 나왔다.
• 온도를 높이면 소프트맥스 분포가 평평해져서 챗봇 답변이 더 다양해진다.

헷갈리는 용어 비교

아그맥스

아그맥스(argmax)는 점수가 가장 높은 후보 하나만 골라 1, 나머지는 0으로 만든다. 소프트맥스는 모든 후보에 확률을 나눠 주므로 미분할 수 있어 학습에 쓰이고, 아그맥스는 최종 결정을 내릴 때 쓴다.

맞춤법/표기법

바른 표기

소프트맥스

주의할 표기

소프트멕스소프트막스소프트 맥스

원어

softmax

다른 이름

소프트맥스 함수, softmax function

참고

max를 부드럽게(soft) 만든 함수라는 뜻이다. 붙여 써서 '소프트맥스'로 적는다.

관련어