역전파가 뒤로 가는 이유: 순방향으로 기울기를 계산하면 같은 항을 반복 전달해 이차 시간이 걸림
- 역전파가 뒤로 가는 이유는 순방향으로 기울기를 계산하면 같은 항을 여러 번 다시 전달해 노드 수에 대해 이차 시간이 걸리기 때문이며, 하류 노드의 항을 역으로 넘기면 각 노드가 국소 항만 더해 선형 시간에 끝남
- 다변수 연쇄법칙에서 노드 v의 기울기는 하류 노드 wj마다 ∂f/∂wj와 ∂wj/∂v를 곱해 더한 값이고, ∂v/∂u는 활성화 함수 σ의 정의에만 달려 있어 각 노드가 ∂f/∂v 하나만 알면 가중치 기울기를 계산함
- 노드 b가 노드 a에 의존할 때 ∂b/∂a는 노드 b에 도달하기 전에는 계산할 수 없으므로, 순방향 구현은 그 항을 하류 노드까지 계속 전달해야 하고 여기서 중복 계산이 발생함
- 저자는 이 과정을 각 노드가 상류 이웃에게 무엇을 잘못했는지 알려주는 신용 할당 문제의 해법으로 정리함
- 글은 2018년 4월 15일 Gregory Gundersen이 썼고 Rumelhart 등 1986년 논문을 출발점으로 삼음