역전파

backpropagation전문

다른 이름: 오차 역전파, backprop, 백프로퍼게이션, 역전파 알고리즘

쉬운 AI 사전

[명사] (학습) 신경망이 틀린 정도(오차)를 출력 쪽에서 입력 쪽으로 거꾸로 전달하며, 각 연결이 오차에 얼마나 책임이 있는지 계산하는 방법. 이 계산 결과로 가중치를 고친다.

실무 AI 사전

[명사] (학습) 파이토치나 텐서플로 같은 프레임워크가 자동 미분으로 대신 계산해 주므로 직접 구현할 일은 거의 없다. 다만 학습 메모리의 큰 몫이 역전파용 중간값 저장에 쓰이고, 손실이 NaN이 되거나 기울기가 폭발하는 문제를 진단하려면 원리를 알아야 한다.

전문 AI 사전

[명사] (학습) 연쇄 법칙을 계산 그래프에 역방향으로 적용해 손실 L에 대한 모든 파라미터의 편미분 ∂L/∂w를 역방향 계산 한 번으로 구하는 알고리즘. 역방향 모드 자동 미분의 한 사례이며, 1986년 러멜하트, 힌턴, 윌리엄스의 논문으로 널리 알려졌다.

팀 프로젝트가 망했을 때 결과물에서 거꾸로 거슬러 올라가며 누가 어느 단계에서 얼마나 잘못했는지 책임을 나누는 회의와 같다.

경사 하강법: 역전파는 각 가중치의 기울기를 계산하는 방법이고, 경사 하강법은 그 기울기를 이용해 가중치를 고치는 방법이다. 둘은 학습 한 단계 안에서 차례로 쓰인다.