YZ ZONE

-언어를 이루는 단위: 음절,형태소,어절,품사(part-of-speech,POS) -언어의 구조: 구구조, 의존구조 음절(Syllable) -언어를 말하고 들을 때, 하나의 덩어리로 여겨지는 가장 작은 발화의 단위 -한국어에서 음절은 기본적으로 초성, 중성, 종성으로 이루어져 있음. -초성은 가장 처음에 오는 소리로 자음, 중성은 가운데 소리로 모음, 종성은 마지막 소리로 자음이 해당(받침). -한국어의 음절은 모음 단독으로 이루어 질 수도 있고 모음 앞, 뒤에 자음이 하나씩 붙어 다음과 같은 형태로 구성 -음절은 말소리의 단위이기 때문에 소리나는 대로 적었을 때의 글자 각각 하나가 하나의 음절 형태소(Morpheme) -의미를 가지는 가장 작은 단위로 형태소를 쪼개면 더이상 기능이나 의미를 가지지 않음..

표본공간: 사건이 발생하는 모든 경우를 다 나타내는 집합 이산확률분포-확률질량함수 연속확률분포-확률밀도함수

2.3 최적화 순수 수학의 최적화: 어떤식이 있을때 최적점을 찾는것. 기계학습의 최적화: 훈련집합이라는 샘플 데이터가 일정한 양이 주어지고, 그 집합에 따라 정해지는 목적 함수의 최저점을 찾아야함. 어떻게 찾냐? 뒤에서 배움. -데이터로 미분하는 과정 필요→오류 역전파 알고리즘(3.4절) -주로 SGD(스토캐스틱 경사 하강법)사용 2.3.1 매개변수 공간의 탐색 데이터가 있을때 데이터가 발생하는 특징공간에서 확률분포를 정확하게 추론을 할 수 있으면 분류를 정화하게 할 수 있게 됨. 기계학습에서는 학습 데이터(학습, 훈련집합에 사용되어지는 작은 양의 데이터)를 통해서 찾아내야하는 문제가 있음. 실제 특징공간에서의 차원은 매우 큰데 그에 비해 훈련집합의 크기는 작아 참인 확률분포를 구하는 일은 불가능함. 따..

2.2.6 정보이론 메시지가 지닌 정보를 수량화 할 수 있나? -정보이론의 기본 원리 → 확률이 작을수록 많은 정보 -”고비 사만에 눈이 왔다”가 “대관령에 눈이 왔다” 보다 더 많은 정보를 가짐. 자기정보 self information 사건(메시지)ei의 정보량(단위:비트 또는 나츠): h(ei)라고 하면 엔트로피 확률분포에서 일어날 수 있는 모든 사건들의 정보량의 기댓값으로 p(x)의 불확실 정도를 평가하는 것으로 어떤 정보의 불확실성이 높은지 낮은지 평가하는 지표입니다. 엔트로피가 높을수록 불확실성이 높습니다. 주사위는 모든 사건들이 일어날 확률이 동일. 즉 어떤 사건이 일어나는지 예측하는것이 더 어렵다.주사위가 더 무질서하다고 볼 수 있음. 윷의 확률을 예측하는것이 더 질서가 있다 엔트로피가 낮다..