YZ ZONE

2.11 확장하기: 균형 잡힌 데이터셋과 착시 없는 평가방법 균형 잡힌 데이터 셋 - 취지:별과 펄서를 비슷한 수로 만들어 펄서 학습 기회를 늘리자 *별 데이터를 일부 버려 개수를 펄서에 맞추는 것은 가장 나쁜 대책 - 펄서 데이터를 중복 사용하여 별과 같은 개수로 하자 *2.11.3에서 확장처리 학습 데이터셋과 평가 데이터셋에 같은 내용 배정되는 문제 발생 과적합의 원인이 되고 있음 *약간의 잡음을 추가하는 것도 좋은 방법 착시 없는 평가 방법 -높은 정확도: 균형 잡히지 않은 데이터셋에서는 쉽게 도달 가능 *모든 문제에 펄서가 아니라고 답하면 90% 넘는 정확도 달성 가능 *정확도만으로는 온전한 성능 평가 곤란 - 확장된 평가 척도 *정밀도: 신경망이 참으로 추정한 것 중 실제로 답이 참인 것의 비율..

앞에서 회귀 분석을 할때는 추정한 값과의 차이(실수 차)를 구하면 됬었다. 이진판단시 결국 출력이 확률로 나오기 때문에 확률 분포의 차이를 알고싶은것이다. → 교차 엔트로피로 정량화 해 하나의 숫자로 표현하겠다. 학습: 신경망에 데이터를 주어서 정답을 맞출때 까지 weight를 조정하는 과정 두 가지 확률 분포의 유사도 정량화 교차 엔트로피로 두 확률 분포의 유사도를 하나의 숫자로 나타내겠다. 교차 엔트로피는 딥러닝을 확용한 분류를 할때 손실함수로서 많이 사용됨. 교차 엔트로피 계산에서의 확률 분포 배치 교차엔트로피를 이용한 한일전 승률 추정 비교 이진 판단 경우에 적절한 예는 아님

2.4 확률 분포와 정보 엔트로피 앞에서 출력 값을 0-1사이 정해진 범위 내에서 비율만큼 확률이 반영이 되도록 시그모이드 함수를 도입해 출력이 되도록 했다. 정답과 출력의 차이를 계산을 해 차이가 줄어들도록 w를 수정해 나가야하는데 출력된 확률과 정답 데이터의 주어진 확률의 차이를 측정해 그 차이를 줄여나가는것이 목표다. 엔트로피로 확률의 분포를 알아보고 차이를 확인 할 것이다. 엔트로피는 두 확률 분포의 차이를 판별하기 위해 사용하는 개념이다. 엔트로피 물리학: 분자들이 무질서도 혹은 에너지의 분산 정도 [참고]열역한 제2법칙: 엔트로피 증가 법칙 확률 분포의 무질서도나 불확실성 엔트로피 형태로 나타낼 수 있다. 정보 엔트로피 = 정보량의 가중평균 정보 엔트로피 정보량의 의미 [관련예제] 허프만 코드..