[자연어처리] 2.1 자연어처리를 위한 수학

2.2.1 확률기초

확률과 통계

기계 학습이 처리할 데이터는 불확실한 세상에서 발생하므로, 불확실성을 다루는 확률과 통계를 잘 활용해야함

확률변수 random variable

: ex) 윷의 다섯 가지 경우가 도, 개, 걸, 윷, 모

다섯가지 경우 중 한 값을 갖는 확률변수를 x라고 할때 x의 정의역은 {도, 개, 걸, 윷, 모}

확률분포

각각의 확률이 얼만큼씩 나올 수 있는냐. 어떠한 확률이 얼만큼 분포하느냐 를 나타냄

-확률질량함수: 각각의 경우가 이산(끊어져 나누어있음)되어 있는 경우

-확률밀도함수: 각각의 경우가 연속되어있음

확률벡터 random vector

각각의 내용들이 얼만큼씩 나올 수 있느냐 확률을 벡터로 표현

예제)

주머니에서 번호를 뽑은 다음, 번호에 따라 해당 병에서 공을 뽑고 색을 관찰

번호를 y, 공의 색을 x라는 확률 변수로 표현하면 정의역은 y={1,2,3},x={파랑, 하양}

곱 규칙: P(y,x) = P(x|y)P(y)

: 어떤 사건이 일어나고 나서 그 뒤의 사건에 대한 확률.즉 두개가 이어지는 결합확률.

ex) 1번 카드를 뽑고 나서 하양일 확률?

-1번 카드를 뽑을 확률: P(y=1) = P(1) = 1/8

-카드는 1번, 공은 하양일 확률: P(y=1, x=하양) = P(x=하양 | y=1)P(y=1) = 9/12 * 1/8 = 3/32

조건부 확률 | 로 표현 (y가 1일때 x가 하양일 확률)

 

합 규칙

:이어지지 않을때 합규칙.

ex) 하양 공이 뽑힐 확률 ? 1번에서 하양을 뽑은 확률+2번에서 하양일 확률+3번에서 하양일 확률

P(하양) = P(하양|1)P(1) + P(하양|2)P(2) + P(하양|3)P(3) = 9/121/8 +5/154/8+3/6*3/8 = 43/96