YZ ZONE

앞에서 회귀 분석을 할때는 추정한 값과의 차이(실수 차)를 구하면 됬었다. 이진판단시 결국 출력이 확률로 나오기 때문에 확률 분포의 차이를 알고싶은것이다. → 교차 엔트로피로 정량화 해 하나의 숫자로 표현하겠다. 학습: 신경망에 데이터를 주어서 정답을 맞출때 까지 weight를 조정하는 과정 두 가지 확률 분포의 유사도 정량화 교차 엔트로피로 두 확률 분포의 유사도를 하나의 숫자로 나타내겠다. 교차 엔트로피는 딥러닝을 확용한 분류를 할때 손실함수로서 많이 사용됨. 교차 엔트로피 계산에서의 확률 분포 배치 교차엔트로피를 이용한 한일전 승률 추정 비교 이진 판단 경우에 적절한 예는 아님

2.4 확률 분포와 정보 엔트로피 앞에서 출력 값을 0-1사이 정해진 범위 내에서 비율만큼 확률이 반영이 되도록 시그모이드 함수를 도입해 출력이 되도록 했다. 정답과 출력의 차이를 계산을 해 차이가 줄어들도록 w를 수정해 나가야하는데 출력된 확률과 정답 데이터의 주어진 확률의 차이를 측정해 그 차이를 줄여나가는것이 목표다. 엔트로피로 확률의 분포를 알아보고 차이를 확인 할 것이다. 엔트로피는 두 확률 분포의 차이를 판별하기 위해 사용하는 개념이다. 엔트로피 물리학: 분자들이 무질서도 혹은 에너지의 분산 정도 [참고]열역한 제2법칙: 엔트로피 증가 법칙 확률 분포의 무질서도나 불확실성 엔트로피 형태로 나타낼 수 있다. 정보 엔트로피 = 정보량의 가중평균 정보 엔트로피 정보량의 의미 [관련예제] 허프만 코드..

[접근1] 신경망 출력을 이진값으로 퍼셉트론 구조상 0과 1 두 가지 값만 내도록 제한 곤란 미분곤란: 역전파 학습 거의 불가능 [접근2] 신경망 출력을 ‘참’일 확률값으로 퍼셉트론 구조상 [0.0, 1.0] 구간 내 값만 내도록 제한 곤란 [접근3] 신경망 출력을 ‘참’일 가능성의 로짓값으로 로짓값: 상대적 가능성 정도를 로그 척도로 표현한 값 간단한 변환 함수를 추가해 확률 값으로 변환가능 값의 범위에 제한이 없어서 퍼셉트론 출력 형태로 적합 미분 처리가 용이해 역전파 학습에 적당 딥러닝에서는 이진판단 처리에 [접근3]이용 뒤에 소개될 시그모이드 함수를 퍼셉트론 안에 삽입하면 [접근2]도 가능 💡 퍼셉트론 구조상 이진 판단 즉 0과 1을 두가지 값만 내도록하는 것은 미분이 곤란하며 역전파 학습이 거의..

전복의 성별 데이터셋 정보: I(infant, 유충),M(male, 수컷),F(female, 암컷) 문자 아스키코드, 선형코드(0,1,2)등의 표현 데이터 내용에 없는 선형적 특성이 나타남 신경망은 불필요한 선형성 분석에 노력 낭비 원-핫 벡터 표현 유충, 수컷, 암컷을 각각(1,0,0),(0,1,0),(0,0,1)로 표현 벡터 크기 늘어나지만 불필요한 선형성 없어 학습에 유리 (모델)파라미터 VS 하이퍼 파라미터 (모델) 파라미터는 학습을 하는동안 계속 바뀌는 변수 값이자 예측 값 즉 weight이고 하이퍼 파라미터는 학습도중에 바꿀 수 없는 학습 전에 설정해야하는 모델 구조나 학습 과정에 영향을 미치는 각종 상숫값입니다.

하이퍼파라미터 모델 구조나 학습 과정에 영향을 미치는 각종 상숫값 (학습률, 학습횟수, 미니배치 크기…) 딥러닝 알고리즘 실행 동안은 값이 변하지 않는 상수 개발자가 미리 지정해주어야 하는 값 하이퍼파라미터의 중요성 마음에 드는 학습 결과를 얻기까지 다양한 값으로 바꾸어가며 실험할 필요 파라미터는 학습으로 적당한 값을 얻을 수 있지만 하이퍼파라미터는 개발자가 미리 정해주어야 한다. 그래서 더 많은 경험과 이해가 필요하다.

순전파 처리의 역순으로 진행되는 역전파 처리 lost값을 계산하는 과정이 순전파. lost의 기울기를 계산해서 수정해야하는 양을 측정하는 과정이 역전파. 손실기울기와 부분기울기 입력이 다수인 경우의 처리 즉, 각 입력 성분 별로 따로 처리하면 된다 파라미터에 해당하는 입력 성분의 경우 학습률을 이용해 값 수정 중복 활용되는 출력의 처리 즉, 출력의 손실기울기들을 합산한 후 처리하면 된다