혼합 정밀도

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 계산할 때 어떤 부분은 숫자를 덜 정밀하게 다뤄서 속도를 높이고 메모리를 아끼는 방법.

실무 AI 사전

1. [명사] (학습) 학습 중 대부분의 연산은 16비트(FP16, BF16)로 하고, 정확도가 중요한 부분은 32비트로 유지한다. 같은 GPU에서 더 빠르게, 더 큰 모델이나 배치를 올릴 수 있어 사실상 기본 설정이 되었다.

전문 AI 사전

1. [명사] (학습) FP16 또는 BF16의 순전파와 역전파에 FP32 마스터 가중치를 유지하는 학습 기법. FP16은 기울기 언더플로를 막기 위해 손실 스케일링이 필요하고, BF16은 지수 범위가 FP32와 같아 이를 생략할 수 있다.

관용구/함께 쓰는 말

• 손실 스케일링 — FP16에서 작은 기울기가 0이 되는 것을 막으려 손실 값을 키워 두는 기법.
• 마스터 가중치 — 정밀도를 위해 32비트로 따로 보관하는 가중치 사본.

쉬운 비유

계산을 할 때 중요한 금액은 소수점 끝까지 보고, 잔돈은 반올림해 빠르게 세는 것과 같다.

예문

• 혼합 정밀도를 켜자 같은 GPU에서 학습 속도가 눈에 띄게 빨라졌다.
• BF16 혼합 정밀도로 바꾸니 메모리가 줄어 배치를 키울 수 있었다.
• FP16 혼합 정밀도에서 손실이 NaN이 나와 손실 스케일링을 켰다.

헷갈리는 용어 비교

양자화

혼합 정밀도는 주로 학습 중 연산의 정밀도를 섞어 쓰는 방법이고, 양자화는 학습이 끝난 모델의 가중치를 낮은 비트로 줄여 서비스 비용을 아끼는 방법이다.

맞춤법/표기법

바른 표기

혼합 정밀도

주의할 표기

혼합 정밀도 훈련

원어

mixed precision

다른 이름

혼합 정밀도 학습, 믹스드 프리시전, AMP, mixed precision training

참고

영어 약어는 AMP(automatic mixed precision)로 쓰이기도 한다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.