YZ ZONE

2.4 확률 분포와 정보 엔트로피 앞에서 출력 값을 0-1사이 정해진 범위 내에서 비율만큼 확률이 반영이 되도록 시그모이드 함수를 도입해 출력이 되도록 했다. 정답과 출력의 차이를 계산을 해 차이가 줄어들도록 w를 수정해 나가야하는데 출력된 확률과 정답 데이터의 주어진 확률의 차이를 측정해 그 차이를 줄여나가는것이 목표다. 엔트로피로 확률의 분포를 알아보고 차이를 확인 할 것이다. 엔트로피는 두 확률 분포의 차이를 판별하기 위해 사용하는 개념이다. 엔트로피 물리학: 분자들이 무질서도 혹은 에너지의 분산 정도 [참고]열역한 제2법칙: 엔트로피 증가 법칙 확률 분포의 무질서도나 불확실성 엔트로피 형태로 나타낼 수 있다. 정보 엔트로피 = 정보량의 가중평균 정보 엔트로피 정보량의 의미 [관련예제] 허프만 코드..

2.2.6 정보이론 메시지가 지닌 정보를 수량화 할 수 있나? -정보이론의 기본 원리 → 확률이 작을수록 많은 정보 -”고비 사만에 눈이 왔다”가 “대관령에 눈이 왔다” 보다 더 많은 정보를 가짐. 자기정보 self information 사건(메시지)ei의 정보량(단위:비트 또는 나츠): h(ei)라고 하면 엔트로피 확률분포에서 일어날 수 있는 모든 사건들의 정보량의 기댓값으로 p(x)의 불확실 정도를 평가하는 것으로 어떤 정보의 불확실성이 높은지 낮은지 평가하는 지표입니다. 엔트로피가 높을수록 불확실성이 높습니다. 주사위는 모든 사건들이 일어날 확률이 동일. 즉 어떤 사건이 일어나는지 예측하는것이 더 어렵다.주사위가 더 무질서하다고 볼 수 있음. 윷의 확률을 예측하는것이 더 질서가 있다 엔트로피가 낮다..