기울기 폭발

exploding gradient전문

다른 이름: 그래디언트 폭발, gradient explosion, exploding gradients

쉬운 AI 사전

[명사] (학습) 역전파로 오차를 거슬러 보내는 동안 학습 신호가 점점 커져 걷잡을 수 없이 불어나는 현상. 값이 너무 커져 모델이 엉망이 된다.

실무 AI 사전

[명사] (학습) 학습 중 손실이 갑자기 NaN이나 무한대로 튀면 먼저 의심한다. 기울기 클리핑, 학습률 낮추기, 가중치 초기화 점검, 정규화 층 추가로 대응한다.

전문 AI 사전

[명사] (학습) 층마다 곱해지는 야코비안의 크기가 1보다 크면 깊이나 시간 길이에 따라 기울기 노름이 지수적으로 커진다. 순환 신경망에서 특히 두드러지며, 노름이 기준을 넘으면 비율대로 줄이는 클리핑이 표준 처방이다.

마이크를 스피커 앞에 두면 소리가 되먹임되며 점점 커져 귀가 찢어지는 소리가 나는 것과 비슷하다. 신호가 돌 때마다 증폭되어 통제가 안 된다.

기울기 소실: 기울기 폭발은 신호가 너무 커지는 문제이고 기울기 소실은 너무 작아지는 문제다. 둘 다 깊은 층이나 긴 시퀀스에서 곱셈이 반복되어 생기지만 증상은 반대다. 폭발은 클리핑, 소실은 잔차 연결이나 ReLU로 주로 다룬다.