[딥러닝] 1. 단층 퍼셉트론(SLP) _ 2. 이진판단_ 2.4 확률 분포와 정보 엔트로피

2.4 확률 분포와 정보 엔트로피

앞에서 출력 값을 0-1사이 정해진 범위 내에서 비율만큼 확률이 반영이 되도록 시그모이드 함수를 도입해 출력이 되도록 했다. 정답과 출력의 차이를 계산을 해 차이가 줄어들도록 w를 수정해 나가야하는데 출력된 확률과 정답 데이터의 주어진 확률의 차이를 측정해 그 차이를 줄여나가는것이 목표다.

엔트로피로 확률의 분포를 알아보고 차이를 확인 할 것이다.

엔트로피는 두 확률 분포의 차이를 판별하기 위해 사용하는 개념이다.

엔트로피

• 물리학: 분자들이 무질서도 혹은 에너지의 분산 정도
• [참고]열역한 제2법칙: 엔트로피 증가 법칙
• 확률 분포의 무질서도나 불확실성 엔트로피 형태로 나타낼 수 있다.
• 정보 엔트로피 = 정보량의 가중평균

정보 엔트로피

정보량의 의미

[관련예제] 허프만 코드를 이용한 염기 서열 정보의 압축

• 출현 빈도를 확률분포로 간주
• 정보량에 근사한 값으로 코드를 배정
• 확률 빈도를 이용해 정보(비트)를 줄임