그래디언트

뜻풀이

쉬운 AI 사전

1. [명사] (통계/수학) 값이 가장 가파르게 올라가는 방향과 그 가파른 정도를 알려 주는 화살표. 손실을 줄이려면 이 화살표의 반대 방향으로 가면 된다.

실무 AI 사전

1. [명사] (통계/수학) 신경망 학습에서 각 가중치를 어느 쪽으로 얼마나 바꿔야 오차가 줄어드는지 알려 주는 값이다. 값이 너무 작으면 학습이 멈추고 너무 크면 발산하므로 기울기 소실, 폭발과 그래디언트 클리핑이 실무 이슈다.

전문 AI 사전

1. [명사] (통계/수학) 스칼라 함수 f의 모든 편미분을 모은 벡터 ∇f = (∂f/∂x1, ..., ∂f/∂xn) 이다. 함수가 가장 빠르게 증가하는 방향을 가리키며, 역전파는 연쇄 법칙으로 손실의 각 파라미터에 대한 그래디언트를 계산한다.

관용구/함께 쓰는 말

• 그래디언트 클리핑 - 기울기 크기가 너무 커지지 않게 상한을 두는 기법.
• 그래디언트 흐름 - 역전파로 기울기가 층을 거슬러 전달되는 과정.

쉬운 비유

산비탈에서 발밑을 짚어 보아 어느 쪽이 가장 가파르게 올라가는지 알려 주는 나침반이다. 내려가려면 그 반대로 걸으면 된다.

예문

• 그래디언트가 너무 커져서 손실이 NaN이 되자 그래디언트 클리핑을 걸었다.
• 손실에 대한 가중치의 그래디언트를 구해 반대 방향으로 조금씩 이동한다.
• 층이 깊어지면 그래디언트가 앞쪽 층에 닿기 전에 거의 0으로 사라진다.

헷갈리는 용어 비교

미분

미분은 한 변수의 변화율이고, 그래디언트는 변수가 여럿일 때 각 변수의 변화율을 한데 묶은 벡터다. 딥러닝에서 파라미터가 수십억 개여도 그래디언트로 한꺼번에 다룬다.

맞춤법/표기법

바른 표기

그래디언트

원어

gradient

다른 이름

기울기, 경사, gradient, 그래디언트 벡터, 그레이디언트

참고

표기는 '그래디언트'가 우세하며 '기울기'로 풀어 쓰기도 한다. 국립국어원 표기법에 따르면 '그레이디언트'가 가깝다.

관련어