YZ ZONE

3.5 소프트맥스 교차 엔트로피 두 가지 확률 분포이 유사도 정량화 교차 엔트로피 두 개의 확률분포 유사도의 정량화 방법 한 확률 분포로 다른 확률 분포에서의 정보량을 가중평균 교차 엔트로피 계산에서의 확률 분포 배치

이진 판단에서 신경망 학습의 원리 학습 중인 딥러닝 모델의 추정 확률 분포 P로 설정 이 모델이 흉내내야 할 미지의 확률 분포를 Q로 설정 입력값을 구조에 넣어서 출력이 나오고 교차 엔트로피로 두 개의 확률 분포를 측정을 하고 w를 수정해 차이를 줄이는것 P와 Q의 교차 엔트로피 값을 계산 혹은 추정하여 교차 엔트로피값이 작아지는 쪽으로 Q를 꾸준히 수정해 확률 분포 Q를 확률 분포 P에 가깝게 접근시킨다. 실제 학습의 어려움 -1 확률 분포 Q를 알지 못하는 상태목표점에 도달하지 않은 상태 임으로 실제 확률분표 Q가 존재하지 않음 따라서 P와 Q의 교차 엔트로피 값을 계산할 수 없다. 확률 분포 Q는 딥러닝 모델이 학습 통해 찾아야 할 목표점 데이터셋 데이터는 존재 가능한 실세계 데이터의 샘플((일부분..