확률적 경사 하강법

뜻풀이

쉬운 AI 사전

1. [명사] (통계/수학) 전체 데이터를 다 보지 않고 일부만 뽑아 보고 가중치를 조금씩 고치는 학습 방식. 한 번에 다 풀기보다 조금씩 자주 고쳐 간다.

실무 AI 사전

1. [명사] (통계/수학) 대용량 데이터로 신경망을 학습시킬 때 거의 모든 옵티마이저의 바탕이다. 무작위로 뽑은 미니배치로 그래디언트를 근사하기 때문에 한 번 계산이 싸고, 약간의 잡음이 지역 최솟값 탈출에 도움이 되기도 한다.

전문 AI 사전

1. [명사] (통계/수학) θ ← θ − η ∇L_B(θ) 처럼 무작위 미니배치 B의 손실 그래디언트로 파라미터를 갱신한다. 전체 그래디언트의 불편 추정량이며, 학습률 스케줄과 모멘텀을 더하는 변형이 널리 쓰인다.

관용구/함께 쓰는 말

• 미니배치 - 한 번의 갱신에 쓰는 데이터 묶음.
• 모멘텀 - 이전 방향을 일부 이어받아 진동을 줄이는 기법.

쉬운 비유

안개 낀 산에서 한눈에 전체 지형을 보지 못하고 발밑 몇 군데만 더듬어 보며 내려가는 것과 비슷하다. 조금 비틀거려도 대체로 아래로 향한다.

예문

• 배치 크기 64로 SGD를 돌리며 학습률을 점점 줄였다.
• 전체 데이터로 한 번 계산하려면 메모리가 모자라서 미니배치 SGD를 썼다.
• 모멘텀을 더한 SGD로 진동을 줄이고 더 빠르게 수렴시켰다.

헷갈리는 용어 비교

경사 하강법

경사 하강법은 전체 데이터로 정확한 그래디언트를 구해 갱신하지만 느리고, 확률적 경사 하강법은 일부만 보고 근사해 훨씬 빠르며 약간의 잡음이 섞인다. 현실에서는 대부분 후자의 미니배치 방식을 쓴다.

맞춤법/표기법

바른 표기

확률적 경사 하강법

원어

stochastic gradient descent (SGD)

다른 이름

SGD, 확률적 경사하강법, 스토캐스틱 그래디언트 디센트, 확률적 기울기 하강법, 미니배치 경사 하강법

참고

'확률적'은 stochastic의 번역으로 무작위로 표본을 뽑는다는 뜻이다.

관련어