YZ ZONE

순전파 처리의 역순으로 진행되는 역전파 처리 lost값을 계산하는 과정이 순전파. lost의 기울기를 계산해서 수정해야하는 양을 측정하는 과정이 역전파. 손실기울기와 부분기울기 입력이 다수인 경우의 처리 즉, 각 입력 성분 별로 따로 처리하면 된다 파라미터에 해당하는 입력 성분의 경우 학습률을 이용해 값 수정 중복 활용되는 출력의 처리 즉, 출력의 손실기울기들을 합산한 후 처리하면 된다

정답과 추정한 값의 차이를 줄여나가는 것이 학습의 과정인데 이것을 경사하강법으로 찾아나감. 경사하강법 gradient descent algorithm w(weight)값을 조정해나가는 일종의 전략 딥러닝의 가장 기본적인 학습 알고리즘 함수의 기울기 계산해 함숫값이 작아지는 방향으로 이동 반복 미니배치 입력에 대해 순전파와 역전파를 번갈아 반복 수행 → 입력 넣고 출력이 나왔을때 출력과 정답의 차이를 미분을 통해 기울기로 구해 얼만큼 하강시켜야 하는지 기울기를 계산해 w를 수정해 나감 → 이 과정을 기울기가 작아질때까지 출력과 정답의 차이가 거의 나지 않을 때까지 반복 순전파: 입력 정보로부터 손실 함수 계산 과정 신경망 구조를 따라가면서 현재의 파라미터값 이용해 계산 역전파 정답과 출력한 추정(예측)값의..