옵티마이저

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 모델이 정답에 가까워지도록 가중치를 어떤 방향과 크기로 고칠지 정하는 방법. 학습 속도와 안정성을 좌우한다.

실무 AI 사전

1. [명사] (학습) 기본은 SGD, 실무에서는 Adam이나 AdamW를 많이 쓴다. 학습률과 가중치 감쇠, 스케줄러와 함께 조합해 튜닝한다. 옵티마이저 상태는 메모리를 많이 써서 큰 모델 학습의 부담이 된다.

전문 AI 사전

1. [명사] (학습) 손실 L의 기울기를 입력받아 파라미터 갱신식 θ←θ−Δ를 정하는 알고리즘. 모멘텀, 적응적 학습률(RMSprop, Adam), 가중치 감쇠 분리(AdamW) 등으로 수렴 속도와 일반화를 개선한다.

관용구/함께 쓰는 말

• 옵티마이저 상태 - 모멘텀 등 옵티마이저가 기억하는 값.
• AdamW - 가중치 감쇠를 분리한 Adam.

쉬운 비유

산을 내려가는 등산객의 걸음 전략과 같다. 어떤 방향으로, 얼마나 큰 보폭으로, 얼마나 관성을 둘지 정한다.

예문

• 옵티마이저를 SGD에서 AdamW로 바꿨더니 수렴이 훨씬 빨라졌다.
• 옵티마이저 상태까지 저장하려면 체크포인트가 크다.

헷갈리는 용어 비교

경사 하강법

경사 하강법은 기울기를 따라 내려간다는 기본 원리이고, 옵티마이저는 그 원리를 구현한 여러 방법을 묶어 부르는 말이다.

맞춤법/표기법

바른 표기

옵티마이저

주의할 표기

옵티마이져

원어

optimizer

다른 이름

최적화기, 최적화 알고리즘, 오티마이저

참고

외래어 표기법에 따라 '옵티마이저'가 맞고 '옵티마이져'는 틀린 표기다.

관련어