YZ ZONE

3.5 소프트맥스 교차 엔트로피 두 가지 확률 분포이 유사도 정량화 교차 엔트로피 두 개의 확률분포 유사도의 정량화 방법 한 확률 분포로 다른 확률 분포에서의 정보량을 가중평균 교차 엔트로피 계산에서의 확률 분포 배치

3.3 소프트맥스 함수 선택 분류 위한 소프트맥스 함수의 활용 출력하고자 하는 항목이 7개라 퍼셉트론을 7개 배치. 이 각각의 퍼셉트론의 로짓값을 출력해 크기가 7인 로짓값 벡터가 생성됨. 그 뒤 softmax()를 거치면 확률값 벡터로 바뀜. 로짓값 벡터 ⇒ 확률벡터, 즉 확률 분포 - 언제 사용하나? 시각화: 신경망 추정 확률 분포를 눈으로 확인 소프트맥스 교차 엔트로피 편미분 함수 계산 과정 선택 결과를 결정하는 데는 이용할 필요 없음 - 로짓값 벡터 벡터 성분 전체에 대한 제약 조건 없음 벡터 성분들이 임의의 실수 값을 가질 수 있음 - 확률 벡터 전체 벡터 성분의 합은 1이어야함 각 벡터 성분은 0이상 1 이하이어야 함 각 성분들은 로짓값 성분의 지수 함수 값에 비례 소프트맥스 함수 일반식 소프..

2.4 확률 분포와 정보 엔트로피 앞에서 출력 값을 0-1사이 정해진 범위 내에서 비율만큼 확률이 반영이 되도록 시그모이드 함수를 도입해 출력이 되도록 했다. 정답과 출력의 차이를 계산을 해 차이가 줄어들도록 w를 수정해 나가야하는데 출력된 확률과 정답 데이터의 주어진 확률의 차이를 측정해 그 차이를 줄여나가는것이 목표다. 엔트로피로 확률의 분포를 알아보고 차이를 확인 할 것이다. 엔트로피는 두 확률 분포의 차이를 판별하기 위해 사용하는 개념이다. 엔트로피 물리학: 분자들이 무질서도 혹은 에너지의 분산 정도 [참고]열역한 제2법칙: 엔트로피 증가 법칙 확률 분포의 무질서도나 불확실성 엔트로피 형태로 나타낼 수 있다. 정보 엔트로피 = 정보량의 가중평균 정보 엔트로피 정보량의 의미 [관련예제] 허프만 코드..

표본공간: 사건이 발생하는 모든 경우를 다 나타내는 집합 이산확률분포-확률질량함수 연속확률분포-확률밀도함수

2.2.1 확률기초 확률과 통계 기계 학습이 처리할 데이터는 불확실한 세상에서 발생하므로, 불확실성을 다루는 확률과 통계를 잘 활용해야함 확률변수 random variable : ex) 윷의 다섯 가지 경우가 도, 개, 걸, 윷, 모 다섯가지 경우 중 한 값을 갖는 확률변수를 x라고 할때 x의 정의역은 {도, 개, 걸, 윷, 모} 확률분포 각각의 확률이 얼만큼씩 나올 수 있는냐. 어떠한 확률이 얼만큼 분포하느냐 를 나타냄 -확률질량함수: 각각의 경우가 이산(끊어져 나누어있음)되어 있는 경우 -확률밀도함수: 각각의 경우가 연속되어있음 확률벡터 random vector 각각의 내용들이 얼만큼씩 나올 수 있느냐 확률을 벡터로 표현 예제) 주머니에서 번호를 뽑은 다음, 번호에 따라 해당 병에서 공을 뽑고 색을 ..