기울기 소실

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 깊은 신경망을 학습할 때 출력에서 먼 앞쪽 층까지 오차 신호가 거의 전달되지 않아, 그 층들이 제대로 배우지 못하는 현상.

실무 AI 사전

1. [명사] (학습) 손실이 어느 순간부터 줄지 않고 앞쪽 층 가중치가 거의 변하지 않으면 의심해 본다. ReLU 계열 활성화 함수, 배치 정규화나 레이어 정규화, 잔차 연결, 알맞은 가중치 초기화가 대표적인 처방이다.

전문 AI 사전

1. [명사] (학습) 역전파에서 기울기는 층별 야코비안의 곱으로 전달되는데, 크기가 1보다 작은 값이 거듭 곱해지면 앞쪽 층의 기울기가 지수적으로 0에 가까워진다. 도함수 최댓값이 0.25인 시그모이드를 쓴 깊은 망이나 긴 시퀀스를 다루는 RNN에서 두드러진다.

관용구/함께 쓰는 말

• 장기 의존성 문제 - RNN이 멀리 떨어진 과거 정보를 학습하지 못하는 문제로, 기울기 소실과 맞닿아 있다.
• 가중치 초기화 - 학습 시작 전에 가중치 값을 정하는 방법으로, 잘 고르면 기울기 소실을 줄인다.

쉬운 비유

긴 줄로 귓속말 전하기 게임과 같다. 줄이 길수록 맨 앞사람에게 도착한 말은 거의 들리지 않을 만큼 작아진다.

예문

• 시그모이드를 쓴 20층짜리 망은 앞쪽 층 기울기가 거의 0이라 학습이 진행되지 않았다.
• RNN이 긴 문장의 앞부분을 잊어버리는 것도 기울기 소실 때문이라 LSTM으로 바꿨다.

헷갈리는 용어 비교

기울기 폭발

기울기 소실은 기울기가 0에 가까워져 앞쪽 층이 배우지 못하는 문제이고, 기울기 폭발은 반대로 기울기가 너무 커져 가중치가 크게 튀고 손실이 발산하는 문제다. 원인은 같은 반복 곱셈이지만 처방은 다르다.

맞춤법/표기법

바른 표기

기울기 소실

주의할 표기

기울기 손실기울기소실

원어

vanishing gradient

다른 이름

그래디언트 소실, 경사 소실, 기울기 소실 문제, 배니싱 그래디언트

참고

'손실(loss)'과 헷갈려 '기울기 손실'로 쓰기 쉽지만, 사라진다는 뜻의 '소실'이 맞다.

관련어