YZ ZONE

2.4 확률 분포와 정보 엔트로피 앞에서 출력 값을 0-1사이 정해진 범위 내에서 비율만큼 확률이 반영이 되도록 시그모이드 함수를 도입해 출력이 되도록 했다. 정답과 출력의 차이를 계산을 해 차이가 줄어들도록 w를 수정해 나가야하는데 출력된 확률과 정답 데이터의 주어진 확률의 차이를 측정해 그 차이를 줄여나가는것이 목표다. 엔트로피로 확률의 분포를 알아보고 차이를 확인 할 것이다. 엔트로피는 두 확률 분포의 차이를 판별하기 위해 사용하는 개념이다. 엔트로피 물리학: 분자들이 무질서도 혹은 에너지의 분산 정도 [참고]열역한 제2법칙: 엔트로피 증가 법칙 확률 분포의 무질서도나 불확실성 엔트로피 형태로 나타낼 수 있다. 정보 엔트로피 = 정보량의 가중평균 정보 엔트로피 정보량의 의미 [관련예제] 허프만 코드..

[접근1] 신경망 출력을 이진값으로 퍼셉트론 구조상 0과 1 두 가지 값만 내도록 제한 곤란 미분곤란: 역전파 학습 거의 불가능 [접근2] 신경망 출력을 ‘참’일 확률값으로 퍼셉트론 구조상 [0.0, 1.0] 구간 내 값만 내도록 제한 곤란 [접근3] 신경망 출력을 ‘참’일 가능성의 로짓값으로 로짓값: 상대적 가능성 정도를 로그 척도로 표현한 값 간단한 변환 함수를 추가해 확률 값으로 변환가능 값의 범위에 제한이 없어서 퍼셉트론 출력 형태로 적합 미분 처리가 용이해 역전파 학습에 적당 딥러닝에서는 이진판단 처리에 [접근3]이용 뒤에 소개될 시그모이드 함수를 퍼셉트론 안에 삽입하면 [접근2]도 가능 💡 퍼셉트론 구조상 이진 판단 즉 0과 1을 두가지 값만 내도록하는 것은 미분이 곤란하며 역전파 학습이 거의..