YZ ZONE

3.2 선택 분류 문제의 신경망 처리 선택 분류 문제 - 몇 가지 후보 가운데 하나를 골라 답하는 문제 불량 유형을 가려내야 한다면 선택 분류 문제 철판의 불량 여부 판정: 이진 판단 문제 0 or 1 - 객관식 시험 문제 - 각종 의사 결정 - 언어행위: 알파벳 혹은 음소의 선택 및 나열 각각의 알파벳이나 음소 선택의 선택 분류 문제 선택 분류를 위한 신경망 구성 - 후보 항목 수만큼의 퍼셉트론 배치 각 후보 항목과 일대일 대응 관계 - 퍼셉트론 출력: 로짓 추정값 로짓값: 로그 척도의 상대적 추천 강도 후보 항목 번호를 직접 추정하거나 각 후보 항목의 확률값을 곧바로 계산하기는 출력 범위 제한도 어렵고 미분 처리가 어려워 학습 방법도 마땅치 않음 - 전체적으로 이진 판단과 유사하지만 모든 후보 항목에..

2.11 확장하기: 균형 잡힌 데이터셋과 착시 없는 평가방법 균형 잡힌 데이터 셋 - 취지:별과 펄서를 비슷한 수로 만들어 펄서 학습 기회를 늘리자 *별 데이터를 일부 버려 개수를 펄서에 맞추는 것은 가장 나쁜 대책 - 펄서 데이터를 중복 사용하여 별과 같은 개수로 하자 *2.11.3에서 확장처리 학습 데이터셋과 평가 데이터셋에 같은 내용 배정되는 문제 발생 과적합의 원인이 되고 있음 *약간의 잡음을 추가하는 것도 좋은 방법 착시 없는 평가 방법 -높은 정확도: 균형 잡히지 않은 데이터셋에서는 쉽게 도달 가능 *모든 문제에 펄서가 아니라고 답하면 90% 넘는 정확도 달성 가능 *정확도만으로는 온전한 성능 평가 곤란 - 확장된 평가 척도 *정밀도: 신경망이 참으로 추정한 것 중 실제로 답이 참인 것의 비율..

2.7 시그모이드 교차 엔트로피와 편미분 이진분류를 하고자 할 때 어떤 문제가 있었고 확률을 출력하는 형태로 접근을 하고자 하는데 범위를 제한해 로짓 형태로 접근해 시그모이드를 사용하겠다. 결국 입력에 대해서 시그모이드를 계산하니 출력이 확률값으로 나오더라. 확률분포를 잘 이용해 줄여나가야하는데 엔트로피 개념을 가지고와서 두 가지의 확률분포에 엔트로피가 차이가 나는 크로스 엔트로피를 계산하겠다. 시그모이드를 거쳐서 나온 출력으로 유사도를 교차 엔트로피를 계산해야한다. 시그모이드 교차 엔트로피 시그모이드 교차 엔트로피 편미분

이진 판단에서 신경망 학습의 원리 학습 중인 딥러닝 모델의 추정 확률 분포 P로 설정 이 모델이 흉내내야 할 미지의 확률 분포를 Q로 설정 입력값을 구조에 넣어서 출력이 나오고 교차 엔트로피로 두 개의 확률 분포를 측정을 하고 w를 수정해 차이를 줄이는것 P와 Q의 교차 엔트로피 값을 계산 혹은 추정하여 교차 엔트로피값이 작아지는 쪽으로 Q를 꾸준히 수정해 확률 분포 Q를 확률 분포 P에 가깝게 접근시킨다. 실제 학습의 어려움 -1 확률 분포 Q를 알지 못하는 상태목표점에 도달하지 않은 상태 임으로 실제 확률분표 Q가 존재하지 않음 따라서 P와 Q의 교차 엔트로피 값을 계산할 수 없다. 확률 분포 Q는 딥러닝 모델이 학습 통해 찾아야 할 목표점 데이터셋 데이터는 존재 가능한 실세계 데이터의 샘플((일부분..

앞에서 회귀 분석을 할때는 추정한 값과의 차이(실수 차)를 구하면 됬었다. 이진판단시 결국 출력이 확률로 나오기 때문에 확률 분포의 차이를 알고싶은것이다. → 교차 엔트로피로 정량화 해 하나의 숫자로 표현하겠다. 학습: 신경망에 데이터를 주어서 정답을 맞출때 까지 weight를 조정하는 과정 두 가지 확률 분포의 유사도 정량화 교차 엔트로피로 두 확률 분포의 유사도를 하나의 숫자로 나타내겠다. 교차 엔트로피는 딥러닝을 확용한 분류를 할때 손실함수로서 많이 사용됨. 교차 엔트로피 계산에서의 확률 분포 배치 교차엔트로피를 이용한 한일전 승률 추정 비교 이진 판단 경우에 적절한 예는 아님

하이퍼파라미터 모델 구조나 학습 과정에 영향을 미치는 각종 상숫값 (학습률, 학습횟수, 미니배치 크기…) 딥러닝 알고리즘 실행 동안은 값이 변하지 않는 상수 개발자가 미리 지정해주어야 하는 값 하이퍼파라미터의 중요성 마음에 드는 학습 결과를 얻기까지 다양한 값으로 바꾸어가며 실험할 필요 파라미터는 학습으로 적당한 값을 얻을 수 있지만 하이퍼파라미터는 개발자가 미리 정해주어야 한다. 그래서 더 많은 경험과 이해가 필요하다.