[딥러닝] 1. 단층 퍼셉트론(SLP) _ 2. 이진판단_ 2.5 확률 분포의 추정과 교차 엔트로피

앞에서 회귀 분석을 할때는 추정한 값과의 차이(실수 차)를 구하면 됬었다.

이진판단시 결국 출력이 확률로 나오기 때문에 확률 분포의 차이를 알고싶은것이다. → 교차 엔트로피로 정량화 해 하나의 숫자로 표현하겠다.

학습: 신경망에 데이터를 주어서 정답을 맞출때 까지 weight를 조정하는 과정

 

두 가지 확률 분포의 유사도 정량화

교차 엔트로피로 두 확률 분포의 유사도를 하나의 숫자로 나타내겠다.

교차 엔트로피는 딥러닝을 확용한 분류를 할때 손실함수로서 많이 사용됨. 

 

교차 엔트로피 계산에서의 확률 분포 배치

교차엔트로피를 이용한 한일전 승률 추정 비교

• 이진 판단 경우에 적절한 예는 아님