아담 옵티마이저

뜻풀이

쉬운 AI 사전

1. [명사] (통계/수학) 학습 중에 가중치마다 알맞은 속도로 고쳐 주는 영리한 학습 방법. 많은 모델에서 일단 이것부터 써 본다.

실무 AI 사전

1. [명사] (통계/수학) 딥러닝 학습에서 가장 흔한 기본 옵티마이저다. 학습률 하나만 대충 맞춰도 잘 작동하며, 트랜스포머와 LLM은 가중치 감쇠를 분리한 AdamW를 흔히 쓴다. 다만 상태 변수가 많아 메모리를 더 쓴다.

전문 AI 사전

1. [명사] (통계/수학) 그래디언트의 지수 이동 평균(1차 모멘트)과 제곱의 지수 이동 평균(2차 모멘트)을 유지해 파라미터별 적응형 학습률로 갱신한다. 초기 편향을 보정하고 β1=0.9, β2=0.999 같은 기본값이 널리 쓰인다. AdamW는 가중치 감쇠를 분리한 변형이다.

관용구/함께 쓰는 말

• AdamW - 가중치 감쇠를 업데이트에서 분리한 Adam 변형.
• 적응형 학습률 - 파라미터마다 학습률을 자동으로 조절하는 방식.

쉬운 비유

등산할 때 경사가 가파른 곳은 조심스럽게, 완만한 곳은 성큼성큼 걷도록 발걸음을 알아서 조절해 주는 내비게이션이다.

예문

• 처음에는 Adam에 학습률 1e-4로 시작해 보고 필요하면 조정했다.
• AdamW는 가중치 감쇠를 올바르게 적용해 대형 언어 모델 학습에 흔히 쓰인다.
• Adam은 파라미터마다 상태를 저장하므로 SGD보다 메모리를 더 먹는다.

헷갈리는 용어 비교

확률적 경사 하강법

SGD는 모든 파라미터에 같은 학습률을 쓰고, Adam은 각 파라미터마다 이전 기울기의 평균과 크기를 보고 걸음 크기를 다르게 한다. 튜닝이 쉬운 대신 메모리를 더 쓰고 일부 문제에서는 SGD가 더 잘 일반화한다.

맞춤법/표기법

바른 표기

아담 옵티마이저

주의할 표기

Adam 최적화

원어

Adam optimizer (Adaptive Moment Estimation)

다른 이름

Adam, 아담, 아담 최적화, Adam 옵티마이저, AdamW

참고

사람 이름 아담과는 무관하며 Adaptive Moment estimation의 줄임말이다. 읽을 때는 '아담'.

관련어