YZ ZONE

3.5 소프트맥스 교차 엔트로피 두 가지 확률 분포이 유사도 정량화 교차 엔트로피 두 개의 확률분포 유사도의 정량화 방법 한 확률 분포로 다른 확률 분포에서의 정보량을 가중평균 교차 엔트로피 계산에서의 확률 분포 배치

3.3 소프트맥스 함수 선택 분류 위한 소프트맥스 함수의 활용 출력하고자 하는 항목이 7개라 퍼셉트론을 7개 배치. 이 각각의 퍼셉트론의 로짓값을 출력해 크기가 7인 로짓값 벡터가 생성됨. 그 뒤 softmax()를 거치면 확률값 벡터로 바뀜. 로짓값 벡터 ⇒ 확률벡터, 즉 확률 분포 - 언제 사용하나? 시각화: 신경망 추정 확률 분포를 눈으로 확인 소프트맥스 교차 엔트로피 편미분 함수 계산 과정 선택 결과를 결정하는 데는 이용할 필요 없음 - 로짓값 벡터 벡터 성분 전체에 대한 제약 조건 없음 벡터 성분들이 임의의 실수 값을 가질 수 있음 - 확률 벡터 전체 벡터 성분의 합은 1이어야함 각 벡터 성분은 0이상 1 이하이어야 함 각 성분들은 로짓값 성분의 지수 함수 값에 비례 소프트맥스 함수 일반식 소프..

3.2 선택 분류 문제의 신경망 처리 선택 분류 문제 - 몇 가지 후보 가운데 하나를 골라 답하는 문제 불량 유형을 가려내야 한다면 선택 분류 문제 철판의 불량 여부 판정: 이진 판단 문제 0 or 1 - 객관식 시험 문제 - 각종 의사 결정 - 언어행위: 알파벳 혹은 음소의 선택 및 나열 각각의 알파벳이나 음소 선택의 선택 분류 문제 선택 분류를 위한 신경망 구성 - 후보 항목 수만큼의 퍼셉트론 배치 각 후보 항목과 일대일 대응 관계 - 퍼셉트론 출력: 로짓 추정값 로짓값: 로그 척도의 상대적 추천 강도 후보 항목 번호를 직접 추정하거나 각 후보 항목의 확률값을 곧바로 계산하기는 출력 범위 제한도 어렵고 미분 처리가 어려워 학습 방법도 마땅치 않음 - 전체적으로 이진 판단과 유사하지만 모든 후보 항목에..

2.11 확장하기: 균형 잡힌 데이터셋과 착시 없는 평가방법 균형 잡힌 데이터 셋 - 취지:별과 펄서를 비슷한 수로 만들어 펄서 학습 기회를 늘리자 *별 데이터를 일부 버려 개수를 펄서에 맞추는 것은 가장 나쁜 대책 - 펄서 데이터를 중복 사용하여 별과 같은 개수로 하자 *2.11.3에서 확장처리 학습 데이터셋과 평가 데이터셋에 같은 내용 배정되는 문제 발생 과적합의 원인이 되고 있음 *약간의 잡음을 추가하는 것도 좋은 방법 착시 없는 평가 방법 -높은 정확도: 균형 잡히지 않은 데이터셋에서는 쉽게 도달 가능 *모든 문제에 펄서가 아니라고 답하면 90% 넘는 정확도 달성 가능 *정확도만으로는 온전한 성능 평가 곤란 - 확장된 평가 척도 *정밀도: 신경망이 참으로 추정한 것 중 실제로 답이 참인 것의 비율..

2.7 시그모이드 교차 엔트로피와 편미분 이진분류를 하고자 할 때 어떤 문제가 있었고 확률을 출력하는 형태로 접근을 하고자 하는데 범위를 제한해 로짓 형태로 접근해 시그모이드를 사용하겠다. 결국 입력에 대해서 시그모이드를 계산하니 출력이 확률값으로 나오더라. 확률분포를 잘 이용해 줄여나가야하는데 엔트로피 개념을 가지고와서 두 가지의 확률분포에 엔트로피가 차이가 나는 크로스 엔트로피를 계산하겠다. 시그모이드를 거쳐서 나온 출력으로 유사도를 교차 엔트로피를 계산해야한다. 시그모이드 교차 엔트로피 시그모이드 교차 엔트로피 편미분

이진 판단에서 신경망 학습의 원리 학습 중인 딥러닝 모델의 추정 확률 분포 P로 설정 이 모델이 흉내내야 할 미지의 확률 분포를 Q로 설정 입력값을 구조에 넣어서 출력이 나오고 교차 엔트로피로 두 개의 확률 분포를 측정을 하고 w를 수정해 차이를 줄이는것 P와 Q의 교차 엔트로피 값을 계산 혹은 추정하여 교차 엔트로피값이 작아지는 쪽으로 Q를 꾸준히 수정해 확률 분포 Q를 확률 분포 P에 가깝게 접근시킨다. 실제 학습의 어려움 -1 확률 분포 Q를 알지 못하는 상태목표점에 도달하지 않은 상태 임으로 실제 확률분표 Q가 존재하지 않음 따라서 P와 Q의 교차 엔트로피 값을 계산할 수 없다. 확률 분포 Q는 딥러닝 모델이 학습 통해 찾아야 할 목표점 데이터셋 데이터는 존재 가능한 실세계 데이터의 샘플((일부분..