학습률

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 모델이 한 번 배울 때 얼마나 크게 값을 고칠지 정하는 수. 걸음의 보폭과 같다.

실무 AI 사전

1. [명사] (학습) 학습이 안정되는지에 가장 큰 영향을 주는 하이퍼파라미터다. 너무 크면 손실이 튀며 발산하고, 너무 작으면 학습이 느리다. 처음에는 크게 시작해 점차 줄이는 스케줄러를 쓰기도 한다.

전문 AI 사전

1. [명사] (학습) 경사 하강법에서 파라미터 갱신 폭을 정하는 스칼라로, θ ← θ - η∇L 에서 η에 해당한다. 워밍업, 코사인 감쇠, 계단식 감쇠 등 스케줄이 있고, Adam 같은 옵티마이저도 기본 학습률의 영향을 받는다.

관용구/함께 쓰는 말

• 학습률 스케줄 - 학습이 진행되는 동안 학습률을 올리거나 내리는 계획.
• 워밍업 - 학습 초반에 학습률을 작게 시작해 서서히 올리는 방식.

쉬운 비유

산에서 내려올 때의 보폭이다. 너무 크게 뛰면 넘어지고, 너무 작게 걸으면 해가 진다.

예문

• 학습률을 0.1로 했더니 손실이 계속 커져서 0.001로 낮췄다.
• 학습 초반에는 학습률을 천천히 올리는 워밍업을 넣었다.
• 같은 모델인데 학습률 하나만 바꿨을 뿐인데 결과가 크게 달라졌다.

헷갈리는 용어 비교

가중치

학습률은 가중치를 한 번에 얼마나 고칠지 정하는 값이고, 가중치는 학습으로 고쳐지는 대상 자체다. 학습률은 사람이 정하고 가중치는 모델이 배운다.

맞춤법/표기법

바른 표기

학습률

주의할 표기

학습율학습 율

원어

learning rate

다른 이름

러닝 레이트, Learning Rate, 러닝레이트, 학습 속도, LR

참고

'률'이 받침 없는 말 뒤이므로 '학습률'이 맞다. 영어 약어는 'lr'이다.

관련어