YZ ZONE

3.5 소프트맥스 교차 엔트로피 두 가지 확률 분포이 유사도 정량화 교차 엔트로피 두 개의 확률분포 유사도의 정량화 방법 한 확률 분포로 다른 확률 분포에서의 정보량을 가중평균 교차 엔트로피 계산에서의 확률 분포 배치

3.3 소프트맥스 함수 선택 분류 위한 소프트맥스 함수의 활용 출력하고자 하는 항목이 7개라 퍼셉트론을 7개 배치. 이 각각의 퍼셉트론의 로짓값을 출력해 크기가 7인 로짓값 벡터가 생성됨. 그 뒤 softmax()를 거치면 확률값 벡터로 바뀜. 로짓값 벡터 ⇒ 확률벡터, 즉 확률 분포 - 언제 사용하나? 시각화: 신경망 추정 확률 분포를 눈으로 확인 소프트맥스 교차 엔트로피 편미분 함수 계산 과정 선택 결과를 결정하는 데는 이용할 필요 없음 - 로짓값 벡터 벡터 성분 전체에 대한 제약 조건 없음 벡터 성분들이 임의의 실수 값을 가질 수 있음 - 확률 벡터 전체 벡터 성분의 합은 1이어야함 각 벡터 성분은 0이상 1 이하이어야 함 각 성분들은 로짓값 성분의 지수 함수 값에 비례 소프트맥스 함수 일반식 소프..