순전파

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 입력 데이터가 신경망의 첫 층부터 마지막 층까지 차례로 계산되며 예측값이 나오는 과정. 모델이 답을 내는 방향의 계산이다.

실무 AI 사전

1. [명사] (학습) 추론은 순전파만 하면 되고, 학습은 순전파로 손실을 구한 뒤 역전파를 이어서 한다. 그래서 추론이 학습보다 메모리와 시간이 훨씬 적게 들며, 서빙 비용을 따질 때 순전파 한 번에 드는 연산량을 기준으로 삼는다.

전문 AI 사전

1. [명사] (학습) 각 층 l에서 a^(l) = f(W^(l) a^(l−1) + b^(l))을 입력층부터 출력층까지 차례로 계산하는 과정. 학습 때는 역전파에 필요한 중간 활성화 값을 저장해 두므로 메모리가 많이 들며, 이를 줄이려고 일부만 저장하고 다시 계산하는 그래디언트 체크포인팅을 쓰기도 한다.

관용구/함께 쓰는 말

• 포워드 패스 - 순전파 한 번. 입력 하나나 배치 하나를 끝까지 계산하는 일.
• 그래디언트 체크포인팅 - 순전파 중간값을 일부만 저장하고 역전파 때 다시 계산해 메모리를 아끼는 기법.

쉬운 비유

시험지를 받아 1번부터 끝까지 풀어 답안을 내는 과정이다. 채점하고 틀린 원인을 거꾸로 따지는 일(역전파)은 그다음이다.

예문

• 배치 하나를 순전파하는 데 0.2초, 역전파까지 하면 0.6초쯤 걸렸다.
• 디버깅할 때는 순전파 중간중간 텐서 모양을 찍어 보면 차원이 어디서 어긋났는지 금방 보인다.

헷갈리는 용어 비교

역전파

순전파는 입력에서 출력 쪽으로 계산해 예측과 손실을 구한다. 역전파는 그 손실에서 출발해 출력에서 입력 쪽으로 거슬러 가며 각 가중치의 기울기를 구한다.

맞춤법/표기법

바른 표기

순전파

주의할 표기

순전파법순 전파

원어

forward propagation (forward pass)

다른 이름

순방향 전파, 포워드 패스, forward pass, 포워드 프로퍼게이션

참고

'역전파'의 짝말이다. 코드나 실무 대화에서는 '포워드'라고 줄여 부르는 일이 많다.

관련어