레이어 정규화

뜻풀이

쉬운 AI 사전

1. [명사] (모델) 한 샘플이 한 층에서 가진 값들을 그 샘플 안에서 평균 0 정도로 맞춰 주는 기법. 문장 같은 길이가 다른 입력을 다루는 모델에서 학습이 안정되도록 돕는다.

실무 AI 사전

1. [명사] (모델) 트랜스포머 계열 LLM의 모든 블록에 들어 있다. 배치 크기와 무관하게 동작하므로 추론 때 한 문장씩 처리해도 결과가 같다. 최근에는 계산을 줄인 RMSNorm을 쓰는 모델이 많다.

전문 AI 사전

1. [명사] (모델) 샘플 하나의 은닉 벡터 차원 전체에서 평균과 분산을 구해 정규화하고 학습 가능한 이득과 편향을 곱하고 더한다. 정규화 층을 어텐션과 피드포워드 앞에 두는 pre-LN 구성이 깊은 모델의 학습 안정성에 유리하다고 알려져 있다.

관용구/함께 쓰는 말

• pre-LN - 서브층 앞에 정규화를 두는 방식.
• RMSNorm - 평균을 빼지 않고 크기만 맞추는 단순화된 레이어 정규화.

쉬운 비유

학생 한 명의 과목별 성적을 그 학생 평균으로 맞춰 보는 것과 비슷하다. 반 전체가 아니라 자기 안에서 상대적 위치를 본다.

예문

• 트랜스포머는 배치 정규화 대신 레이어 정규화를 쓰기 때문에 배치 크기를 1로 해도 동작한다.
• 학습이 불안정해서 정규화 위치를 pre-LN으로 옮겼더니 손실이 안정됐다.

헷갈리는 용어 비교

배치 정규화

배치 정규화는 같은 배치의 다른 샘플에 의존하지만 레이어 정규화는 샘플 하나만으로 계산한다. 그래서 배치가 작거나 문장 길이가 제각각인 NLP에서 레이어 정규화가 선호된다.

맞춤법/표기법

바른 표기

레이어 정규화

주의할 표기

레이어정규화층 정규

원어

layer normalization

다른 이름

층 정규화, 레이어 노멀라이제이션, LayerNorm, LN

참고

'레이어 놈'이라 줄여 말하기도 한다.

관련어