목록교차 엔트로피 (3)

YZ ZONE

[딥러닝] 1. 단층 퍼셉트론(SLP) _3. 선택 분류_ 3.5 소프트맥스 교차 엔트로피

3.5 소프트맥스 교차 엔트로피 두 가지 확률 분포이 유사도 정량화 교차 엔트로피 두 개의 확률분포 유사도의 정량화 방법 한 확률 분포로 다른 확률 분포에서의 정보량을 가중평균 교차 엔트로피 계산에서의 확률 분포 배치
IT/딥러닝 2023. 8. 4. 11:12
[딥러닝] 1. 단층 퍼셉트론(SLP) _ 2. 이진판단_ 2.5 확률 분포의 추정과 교차 엔트로피

앞에서 회귀 분석을 할때는 추정한 값과의 차이(실수 차)를 구하면 됬었다. 이진판단시 결국 출력이 확률로 나오기 때문에 확률 분포의 차이를 알고싶은것이다. → 교차 엔트로피로 정량화 해 하나의 숫자로 표현하겠다. 학습: 신경망에 데이터를 주어서 정답을 맞출때 까지 weight를 조정하는 과정 두 가지 확률 분포의 유사도 정량화 교차 엔트로피로 두 확률 분포의 유사도를 하나의 숫자로 나타내겠다. 교차 엔트로피는 딥러닝을 확용한 분류를 할때 손실함수로서 많이 사용됨. 교차 엔트로피 계산에서의 확률 분포 배치 교차엔트로피를 이용한 한일전 승률 추정 비교 이진 판단 경우에 적절한 예는 아님
IT/딥러닝 2023. 8. 1. 22:53
[자연어처리] 2.5 자연어처리를 위한 수학(정보이론)

2.2.6 정보이론 메시지가 지닌 정보를 수량화 할 수 있나? -정보이론의 기본 원리 → 확률이 작을수록 많은 정보 -”고비 사만에 눈이 왔다”가 “대관령에 눈이 왔다” 보다 더 많은 정보를 가짐. 자기정보 self information 사건(메시지)ei의 정보량(단위:비트 또는 나츠): h(ei)라고 하면 엔트로피 확률분포에서 일어날 수 있는 모든 사건들의 정보량의 기댓값으로 p(x)의 불확실 정도를 평가하는 것으로 어떤 정보의 불확실성이 높은지 낮은지 평가하는 지표입니다. 엔트로피가 높을수록 불확실성이 높습니다. 주사위는 모든 사건들이 일어날 확률이 동일. 즉 어떤 사건이 일어나는지 예측하는것이 더 어렵다.주사위가 더 무질서하다고 볼 수 있음. 윷의 확률을 예측하는것이 더 질서가 있다 엔트로피가 낮다..
IT/자연어처리 2023. 2. 2. 17:40
이전 Prev 1 Next 다음