배치 정규화

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 신경망 중간에서 한 묶음(배치)의 값을 평균 0, 퍼짐 1 정도로 고르게 맞춰 주는 기법. 학습이 훨씬 빠르고 안정된다.

실무 AI 사전

1. [명사] (모델) CNN 계열에서 학습 속도를 높이고 학습률을 크게 잡을 수 있게 해 준다. 배치가 너무 작거나 추론 때 통계가 어긋나면 성능이 흔들리므로 배치 크기를 점검한다.

전문 AI 사전

1. [명사] (모델) 배치 안에서 채널별 평균과 분산으로 정규화한 뒤 학습 가능한 척도 γ와 이동 β를 적용한다. 추론에는 학습 중 이동 평균으로 모은 통계를 쓴다. 효과의 원인은 내부 공변량 변화 감소라는 초기 설명 외에 손실 지형 평탄화 등 여러 해석이 있다.

관용구/함께 쓰는 말

• BN 층 - 합성곱이나 선형 층 뒤에 붙는 배치 정규화 층.
• 이동 평균 통계 - 추론 때 쓰려고 학습 중에 모아 둔 평균과 분산.

쉬운 비유

시험을 본 반 전체 점수를 평균 0 기준으로 다시 맞춰, 어느 반이든 같은 잣대로 비교하게 만드는 것과 비슷하다.

예문

• 배치 크기가 2밖에 안 되어 배치 정규화 통계가 불안정하니 그룹 정규화로 바꿔 보자.
• ResNet 블록마다 합성곱 뒤에 배치 정규화를 붙이는 게 기본 구성이다.

헷갈리는 용어 비교

레이어 정규화

배치 정규화는 배치 안의 여러 샘플을 가로질러 통계를 내고, 레이어 정규화는 샘플 하나의 특징들 안에서 통계를 낸다. 그래서 배치 크기에 덜 민감하고 시퀀스 모델과 트랜스포머에서 쓴다.

맞춤법/표기법

바른 표기

배치 정규화

주의할 표기

배치정규화배치 정규

원어

batch normalization

다른 이름

배치 노멀라이제이션, 배치 정규화 층, BatchNorm, BN

참고

업계에서는 '배치놈', 'BN'이라고 줄여 부르기도 한다.

관련어