가중치 초기화

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 학습을 시작할 때 신경망의 가중치를 어떤 값으로 놓을지 정하는 일. 시작이 나쁘면 학습이 잘 안 된다.

실무 AI 사전

1. [명사] (학습) 전부 같은 값으로 시작하면 뉴런이 똑같이 움직여 학습되지 않는다. 층의 크기에 맞춘 무작위 초기화(Xavier, He)가 기본이며, 잘못 고르면 기울기 소실이나 폭발이 일어난다.

전문 AI 사전

1. [명사] (학습) 층을 지나도 활성값과 기울기의 분산이 유지되도록 분산을 정한다. Xavier는 Var(w)=2/(n_in+n_out), He는 Var(w)=2/n_in으로 ReLU 계열에 맞춘다. 깊은 모델에서는 잔차 가지의 출력 스케일도 따로 줄인다.

관용구/함께 쓰는 말

• He 초기화 — ReLU 계열에 알맞은 초기화.
• Xavier 초기화 — 시그모이드나 tanh에 알맞은 초기화.

쉬운 비유

달리기 출발선을 어디에 두느냐와 비슷하다. 너무 앞이나 뒤에 서면 레이스 전체가 꼬인다.

예문

• ReLU를 쓰는데 Xavier 대신 He 초기화로 바꿨더니 손실이 잘 내려갔다.
• 가중치를 전부 0으로 초기화하면 뉴런이 모두 같은 값으로 갱신된다.

헷갈리는 용어 비교

하이퍼파라미터

가중치 초기화는 학습 시작 때만 한 번 정하는 값이고 하이퍼파라미터는 학습 방식 자체를 정하는 설정이다.

맞춤법/표기법

바른 표기

가중치 초기화

주의할 표기

가중치초기화웨이트 초기화

원어

weight initialization

다른 이름

초기화, 가중치 초기값, Xavier 초기화, He 초기화, 웨이트 이니셜라이제이션

참고

Xavier는 Glorot 초기화라고도 한다.

관련어

마지막 확인 2026-10-15
뜻풀이는 학습용 참고 자료입니다.