[자연어처리] 2.5 자연어처리를 위한 수학(정보이론)

2.2.6 정보이론

메시지가 지닌 정보를 수량화 할 수 있나?

-정보이론의 기본 원리 → 확률이 작을수록 많은 정보

-”고비 사만에 눈이 왔다”가 “대관령에 눈이 왔다” 보다 더 많은 정보를 가짐.

자기정보 self information

사건(메시지)ei의 정보량(단위:비트 또는 나츠): h(ei)라고 하면

엔트로피

확률분포에서 일어날 수 있는 모든 사건들의 정보량의 기댓값으로 p(x)의 불확실 정도를 평가하는 것으로 어떤 정보의 불확실성이 높은지 낮은지 평가하는 지표입니다. 엔트로피가 높을수록 불확실성이 높습니다.

주사위는 모든 사건들이 일어날 확률이 동일. 즉 어떤 사건이 일어나는지 예측하는것이 더 어렵다.주사위가 더 무질서하다고 볼 수 있음. 윷의 확률을 예측하는것이 더 질서가 있다 엔트로피가 낮다.

 

교차 엔트로피 cross entropy

두 확률분포가 있을때 둘 사이의 엔트로피 측정방법.

KL 다이버전스

:두 개의 확률분포 P, Q가 있을때 이 둘 사이의 거리를 계산할 때 주로 사용.

교차 엔트로피와 KL다이버전스의 관계

 

H(P)=2.585 와 KL(P||Q)=0.2075를 더하면 H(P,Q)=2.7925가 나오는 상관관계가 있다.