[딥러닝] 1. 단층 퍼셉트론(SLP) _ 2. 이진판단_2.7 시그모이드 교차 엔트로피와 편미분

2.7 시그모이드 교차 엔트로피와 편미분

이진분류를 하고자 할 때 어떤 문제가 있었고 확률을 출력하는 형태로 접근을 하고자 하는데 범위를 제한해 로짓 형태로 접근해 시그모이드를 사용하겠다.

결국 입력에 대해서 시그모이드를 계산하니 출력이 확률값으로 나오더라.

확률분포를 잘 이용해 줄여나가야하는데 엔트로피 개념을 가지고와서 두 가지의 확률분포에 엔트로피가 차이가 나는 크로스 엔트로피를 계산하겠다.

시그모이드를 거쳐서 나온 출력으로 유사도를 교차 엔트로피를 계산해야한다. 

시그모이드 교차 엔트로피

시그모이드 교차 엔트로피 편미분