활성화 함수

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 신경망의 각 뉴런이 계산한 값을 다음 층으로 넘기기 전에 한 번 더 바꿔 주는 함수. 이 함수 덕분에 신경망이 직선이 아닌 복잡한 규칙도 배울 수 있다.

실무 AI 사전

1. [명사] (모델) 은닉층에는 주로 ReLU나 그 변형(GELU 등)을, 출력층에는 문제에 맞춰 시그모이드(이진 분류)나 소프트맥스(다중 분류)를 쓴다. 잘못 고르면 기울기 소실로 학습이 멈추거나 출력 범위가 정답과 맞지 않아 손실이 이상하게 나온다.

전문 AI 사전

1. [명사] (모델) 가중합 z = Wx + b 에 원소별로 적용하는 비선형 함수 f. 비선형성이 없으면 층을 아무리 쌓아도 전체가 하나의 선형 변환과 같아지므로 표현력을 위해 꼭 필요하다. 미분 가능성, 출력 범위, 포화 구간의 기울기가 학습 안정성을 좌우한다.

관용구/함께 쓰는 말

• 비선형 활성화 - 출력이 입력에 정비례하지 않도록 바꾸는 활성화 함수 적용.
• 활성화 값 - 활성화 함수를 거친 뒤 뉴런이 내놓는 출력값. 줄여서 '액티베이션'이라고도 한다.

쉬운 비유

수도꼭지 밸브와 비슷하다. 들어온 물(신호)의 양에 따라 얼마나 흘려보낼지 정해, 약한 신호는 막고 강한 신호는 통과시킨다.

예문

• 출력층에 활성화 함수를 빼먹어서 확률이어야 할 값이 음수로 나왔다.
• 요즘 LLM은 ReLU 대신 GELU나 SwiGLU 같은 활성화 함수를 많이 쓴다.

헷갈리는 용어 비교

손실 함수

활성화 함수는 신경망 안에서 뉴런 출력에 적용하는 변환이다. 손실 함수는 모델의 최종 예측이 정답과 얼마나 다른지 재는 점수로, 학습 방향을 정하는 데 쓴다.

맞춤법/표기법

바른 표기

활성화 함수

주의할 표기

활성하 함수활성화함수

원어

activation function

다른 이름

활성 함수, 액티베이션 함수

참고

'활성 함수'로도 쓰지만 교재와 논문 번역에서는 '활성화 함수'가 더 흔하다.

관련어