YZ ZONE

3.2 선택 분류 문제의 신경망 처리 선택 분류 문제 - 몇 가지 후보 가운데 하나를 골라 답하는 문제 불량 유형을 가려내야 한다면 선택 분류 문제 철판의 불량 여부 판정: 이진 판단 문제 0 or 1 - 객관식 시험 문제 - 각종 의사 결정 - 언어행위: 알파벳 혹은 음소의 선택 및 나열 각각의 알파벳이나 음소 선택의 선택 분류 문제 선택 분류를 위한 신경망 구성 - 후보 항목 수만큼의 퍼셉트론 배치 각 후보 항목과 일대일 대응 관계 - 퍼셉트론 출력: 로짓 추정값 로짓값: 로그 척도의 상대적 추천 강도 후보 항목 번호를 직접 추정하거나 각 후보 항목의 확률값을 곧바로 계산하기는 출력 범위 제한도 어렵고 미분 처리가 어려워 학습 방법도 마땅치 않음 - 전체적으로 이진 판단과 유사하지만 모든 후보 항목에..

이진 판단에서 신경망 학습의 원리 학습 중인 딥러닝 모델의 추정 확률 분포 P로 설정 이 모델이 흉내내야 할 미지의 확률 분포를 Q로 설정 입력값을 구조에 넣어서 출력이 나오고 교차 엔트로피로 두 개의 확률 분포를 측정을 하고 w를 수정해 차이를 줄이는것 P와 Q의 교차 엔트로피 값을 계산 혹은 추정하여 교차 엔트로피값이 작아지는 쪽으로 Q를 꾸준히 수정해 확률 분포 Q를 확률 분포 P에 가깝게 접근시킨다. 실제 학습의 어려움 -1 확률 분포 Q를 알지 못하는 상태목표점에 도달하지 않은 상태 임으로 실제 확률분표 Q가 존재하지 않음 따라서 P와 Q의 교차 엔트로피 값을 계산할 수 없다. 확률 분포 Q는 딥러닝 모델이 학습 통해 찾아야 할 목표점 데이터셋 데이터는 존재 가능한 실세계 데이터의 샘플((일부분..

2.4 확률 분포와 정보 엔트로피 앞에서 출력 값을 0-1사이 정해진 범위 내에서 비율만큼 확률이 반영이 되도록 시그모이드 함수를 도입해 출력이 되도록 했다. 정답과 출력의 차이를 계산을 해 차이가 줄어들도록 w를 수정해 나가야하는데 출력된 확률과 정답 데이터의 주어진 확률의 차이를 측정해 그 차이를 줄여나가는것이 목표다. 엔트로피로 확률의 분포를 알아보고 차이를 확인 할 것이다. 엔트로피는 두 확률 분포의 차이를 판별하기 위해 사용하는 개념이다. 엔트로피 물리학: 분자들이 무질서도 혹은 에너지의 분산 정도 [참고]열역한 제2법칙: 엔트로피 증가 법칙 확률 분포의 무질서도나 불확실성 엔트로피 형태로 나타낼 수 있다. 정보 엔트로피 = 정보량의 가중평균 정보 엔트로피 정보량의 의미 [관련예제] 허프만 코드..

[접근1] 신경망 출력을 이진값으로 퍼셉트론 구조상 0과 1 두 가지 값만 내도록 제한 곤란 미분곤란: 역전파 학습 거의 불가능 [접근2] 신경망 출력을 ‘참’일 확률값으로 퍼셉트론 구조상 [0.0, 1.0] 구간 내 값만 내도록 제한 곤란 [접근3] 신경망 출력을 ‘참’일 가능성의 로짓값으로 로짓값: 상대적 가능성 정도를 로그 척도로 표현한 값 간단한 변환 함수를 추가해 확률 값으로 변환가능 값의 범위에 제한이 없어서 퍼셉트론 출력 형태로 적합 미분 처리가 용이해 역전파 학습에 적당 딥러닝에서는 이진판단 처리에 [접근3]이용 뒤에 소개될 시그모이드 함수를 퍼셉트론 안에 삽입하면 [접근2]도 가능 💡 퍼셉트론 구조상 이진 판단 즉 0과 1을 두가지 값만 내도록하는 것은 미분이 곤란하며 역전파 학습이 거의..

하이퍼파라미터 모델 구조나 학습 과정에 영향을 미치는 각종 상숫값 (학습률, 학습횟수, 미니배치 크기…) 딥러닝 알고리즘 실행 동안은 값이 변하지 않는 상수 개발자가 미리 지정해주어야 하는 값 하이퍼파라미터의 중요성 마음에 드는 학습 결과를 얻기까지 다양한 값으로 바꾸어가며 실험할 필요 파라미터는 학습으로 적당한 값을 얻을 수 있지만 하이퍼파라미터는 개발자가 미리 정해주어야 한다. 그래서 더 많은 경험과 이해가 필요하다.

손실 함수 lost function 추정을 해서 나온 값과 정답의 차값을 알려줄 때 쓰는 계산식 항상 0 이상, 미분 가능하고(그래야 기울기를 구할 수 있음) 추정이 정확해질수록 작아지는 값 손실함수 값을 줄이는 것을 학습 목표로 삼게 됨 파라미터(w) 상태에 따라 값이 달라 함수라고 표현 비용함수. cost function라고도 부른다 회귀분석에서는 신경망 출력과 정답의 MSE가 이런 성질 보유 MSE:평균제곱오차 Mean Squared Error 신경망 출력, 즉 추정이 (t1, t2..tn)이고 데이터셋의 정답 정보가(y1,y2…yn)일 때 MSE = 오차의 제곱의 평균 추정이 정확해질수록 0에 수렴하며 정답과 일치할 때 0 (오차가 적을수록 정확한 추정) 계산이 간단하고 미분도 쉽다. → MSE를..