YZ ZONE

2.3 최적화 순수 수학의 최적화: 어떤식이 있을때 최적점을 찾는것. 기계학습의 최적화: 훈련집합이라는 샘플 데이터가 일정한 양이 주어지고, 그 집합에 따라 정해지는 목적 함수의 최저점을 찾아야함. 어떻게 찾냐? 뒤에서 배움. -데이터로 미분하는 과정 필요→오류 역전파 알고리즘(3.4절) -주로 SGD(스토캐스틱 경사 하강법)사용 2.3.1 매개변수 공간의 탐색 데이터가 있을때 데이터가 발생하는 특징공간에서 확률분포를 정확하게 추론을 할 수 있으면 분류를 정화하게 할 수 있게 됨. 기계학습에서는 학습 데이터(학습, 훈련집합에 사용되어지는 작은 양의 데이터)를 통해서 찾아내야하는 문제가 있음. 실제 특징공간에서의 차원은 매우 큰데 그에 비해 훈련집합의 크기는 작아 참인 확률분포를 구하는 일은 불가능함. 따..

2.2.6 정보이론 메시지가 지닌 정보를 수량화 할 수 있나? -정보이론의 기본 원리 → 확률이 작을수록 많은 정보 -”고비 사만에 눈이 왔다”가 “대관령에 눈이 왔다” 보다 더 많은 정보를 가짐. 자기정보 self information 사건(메시지)ei의 정보량(단위:비트 또는 나츠): h(ei)라고 하면 엔트로피 확률분포에서 일어날 수 있는 모든 사건들의 정보량의 기댓값으로 p(x)의 불확실 정도를 평가하는 것으로 어떤 정보의 불확실성이 높은지 낮은지 평가하는 지표입니다. 엔트로피가 높을수록 불확실성이 높습니다. 주사위는 모든 사건들이 일어날 확률이 동일. 즉 어떤 사건이 일어나는지 예측하는것이 더 어렵다.주사위가 더 무질서하다고 볼 수 있음. 윷의 확률을 예측하는것이 더 질서가 있다 엔트로피가 낮다..

데이터가 많은 샘플들을 가지고 있는데 이것을 대표하는 정보를 어떻게 사용할 것이냐.가장 널리 쓰이는 방법에 평균과 분산이 있음. 평균: u=각각의 데이터(xi)의 값들을 다 더한 다음 개수만큼 나눔. 분산: 각각의 값에서 평균을 뺀 다음 제곱을 해서 값을 모두 더함. 그 다음 개수만큼 나눔. 분산에 제곱을 씌워주는것을 표준편차라고함. 공분산행렬 : i, j라는 인덱스가 있었을때 두개의 다른 특징들의 면화 양상을 뜻함. 한쪽의 특징이 커질때 다른쪽도 커지면 양수 반대면 음수를 가짐. 2.2.5 유용한 확률분포 가우시안 분포 가운데가 확률이 높고 가장자리로 갈수록 확률이 적어지는 형태를 정규분포를 따른다고 이야기하고 가우시안 분포가 정규분포를 표현하는데 가장 널리 사용되어지는 방법중의 하나이다. 높이가 평균..

2.2.3 최대 우도 일부분 또는 전체 매개변수(세타)를 모르는 경우 매개변수를 추정해야하는 상황. (최대우도추정을 함) 예제) (b)상황. x처럼 나오게 할 수 있는 최대 확률을 가지는 매게 변수를 추정 하는 문제. 기계학습에서 매게변수 파라미터라고 하는 정해지지 않은 것들이 많이 있음. 그런 것들의 값을 찾아 나갈때 확률을 기반으로 구할수도 있다.

2.2.2 베이즈 정리와 기계 학습 베이즈 정리 P(x|y)P(y)=**P(y|x)**P(x) 일때 P(x)를 넘겨주면 위와 같은 식이 나옴. ex) “하얀 공이 나왔다는 사실만 알고 어느 병에서 나왔는지 모르는데, 어느 병인지 추정하라”라는 질문을 아래와 같은 식으로 표현 가능. argmax는 P(y|x)의 확률 중 제일 큰 값을 y로 정하겠다 라는 말. 풀이 사전확률 : 사건이 일어나기 전의 확률. 하양이 나오기 전 어느병에서 나왔는가를 사전확률이라함.

2.2.1 확률기초 확률과 통계 기계 학습이 처리할 데이터는 불확실한 세상에서 발생하므로, 불확실성을 다루는 확률과 통계를 잘 활용해야함 확률변수 random variable : ex) 윷의 다섯 가지 경우가 도, 개, 걸, 윷, 모 다섯가지 경우 중 한 값을 갖는 확률변수를 x라고 할때 x의 정의역은 {도, 개, 걸, 윷, 모} 확률분포 각각의 확률이 얼만큼씩 나올 수 있는냐. 어떠한 확률이 얼만큼 분포하느냐 를 나타냄 -확률질량함수: 각각의 경우가 이산(끊어져 나누어있음)되어 있는 경우 -확률밀도함수: 각각의 경우가 연속되어있음 확률벡터 random vector 각각의 내용들이 얼만큼씩 나올 수 있느냐 확률을 벡터로 표현 예제) 주머니에서 번호를 뽑은 다음, 번호에 따라 해당 병에서 공을 뽑고 색을 ..