YZ ZONE

2.7 시그모이드 교차 엔트로피와 편미분 이진분류를 하고자 할 때 어떤 문제가 있었고 확률을 출력하는 형태로 접근을 하고자 하는데 범위를 제한해 로짓 형태로 접근해 시그모이드를 사용하겠다. 결국 입력에 대해서 시그모이드를 계산하니 출력이 확률값으로 나오더라. 확률분포를 잘 이용해 줄여나가야하는데 엔트로피 개념을 가지고와서 두 가지의 확률분포에 엔트로피가 차이가 나는 크로스 엔트로피를 계산하겠다. 시그모이드를 거쳐서 나온 출력으로 유사도를 교차 엔트로피를 계산해야한다. 시그모이드 교차 엔트로피 시그모이드 교차 엔트로피 편미분

순전파 처리의 역순으로 진행되는 역전파 처리 lost값을 계산하는 과정이 순전파. lost의 기울기를 계산해서 수정해야하는 양을 측정하는 과정이 역전파. 손실기울기와 부분기울기 입력이 다수인 경우의 처리 즉, 각 입력 성분 별로 따로 처리하면 된다 파라미터에 해당하는 입력 성분의 경우 학습률을 이용해 값 수정 중복 활용되는 출력의 처리 즉, 출력의 손실기울기들을 합산한 후 처리하면 된다

정답과 추정한 값의 차이를 줄여나가는 것이 학습의 과정인데 이것을 경사하강법으로 찾아나감. 경사하강법 gradient descent algorithm w(weight)값을 조정해나가는 일종의 전략 딥러닝의 가장 기본적인 학습 알고리즘 함수의 기울기 계산해 함숫값이 작아지는 방향으로 이동 반복 미니배치 입력에 대해 순전파와 역전파를 번갈아 반복 수행 → 입력 넣고 출력이 나왔을때 출력과 정답의 차이를 미분을 통해 기울기로 구해 얼만큼 하강시켜야 하는지 기울기를 계산해 w를 수정해 나감 → 이 과정을 기울기가 작아질때까지 출력과 정답의 차이가 거의 나지 않을 때까지 반복 순전파: 입력 정보로부터 손실 함수 계산 과정 신경망 구조를 따라가면서 현재의 파라미터값 이용해 계산 역전파 정답과 출력한 추정(예측)값의..