목록PPL (1)

YZ ZONE

[자연어처리] 9. 언어모델 Language Model, LM

언어를 이루는 구성요소에 확률값을 부여해 이를 바탕으로 다음 구성요소를 예측, 생성. 언어 모델은 통계적 언어모델SLM, 딥러닝 언어 모델DNN LM이 있음. 통계적 언어 모델(Statical Language Model, SLM) 단어열이 가지는 확률 분포를 기반으로 각 단어의 조합을 예측하는 전통적인 언어모델. 즉 주어진 글자,단어를 바탕으로 다음에 나올 확률이 가장 높은 글자나 단어를 예측. 조건부 확률(A가일어났을때 B가일어날 확률)을 언어 현상에 적용하는 데에서 출발. Ex) 스마트폰의 자동완성 기능 모델은 훈련시 주어지는 데이터(코퍼스 corpus) 내에서 각 단어들의 조합이 나오는 횟수를 카운트한 후 이에 기반하여 확률을 계산. 마르코프과정? 단어들의 조합이 무한하며, 모든 단어 조합의 경우의..
IT/자연어처리 2023. 2. 3. 12:23
이전 Prev 1 Next 다음