[딥러닝] 1. 단층 퍼셉트론(SLP) _ 2. 이진판단_2.6 딥러닝 학습에서의 교차 엔트로피

이진 판단에서 신경망 학습의 원리

• 학습 중인 딥러닝 모델의 추정 확률 분포 P로 설정 이 모델이 흉내내야 할 미지의 확률 분포를 Q로 설정

입력값을 구조에 넣어서 출력이 나오고 교차 엔트로피로 두 개의 확률 분포를 측정을 하고 w를 수정해 차이를 줄이는것

• P와 Q의 교차 엔트로피 값을 계산 혹은 추정하여 교차 엔트로피값이 작아지는 쪽으로 Q를 꾸준히 수정해 확률 분포 Q를 확률 분포 P에 가깝게 접근시킨다.

실제 학습의 어려움 -1

• 확률 분포 Q를 알지 못하는 상태목표점에 도달하지 않은 상태 임으로 실제 확률분표 Q가 존재하지 않음 따라서 P와 Q의 교차 엔트로피 값을 계산할 수 없다.
• 확률 분포 Q는 딥러닝 모델이 학습 통해 찾아야 할 목표점
• 데이터셋 데이터는 존재 가능한 실세계 데이터의 샘플((일부분)
• 데이터셋 데이터의 확률 분포 Q를 구해낸다 해도 이는 전체 데이터의 확률 분포를 보여주는 정보가 아니다.

실제 학습의 어려움 -2

• 데이터셋 출력은 고정된 확률 분포를 갖지 않음도달해야 할 목표가 그때그때 달라진다
• 문제 풀이는 문제 내용 따라 달라져야 하므로 실은 당연
• 입력에 따라 그때그때 (출력이) 달라지는 조건부를 확률 분포

학습의 어려움에 대한 해결 방안