Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
Tags
- 엔트로피
- 인공지능
- 자료구조 알고리즘
- 딥러닝 교차 엔트로피
- 연결 자료구조
- 단층 퍼셉트론
- DB
- 뇌를 자극하는 알고리즘
- 파이썬 날코딩으로 알고 짜는 딥러닝
- 선형 리스트
- 리스트
- 확률분포
- 컴퓨터구조
- 회귀분석
- 신경망
- 순차 자료구조
- 딥러닝 교차엔트로피
- DBMS
- 편미분
- 자료구조
- 노드
- 자연어처리
- 딥러닝
- 파라미터
- 파이썬 딥러닝
- 퍼셉트론
- lost function
- 교차 엔트로피
- 단층퍼셉트론
- 오퍼랜드
Archives
- Today
- Total
목록학습률 (2)
YZ ZONE
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bJGdU7/btspkKFkzgd/niRy32R1UE6Mx0uCCpShQ1/img.png)
순전파 처리의 역순으로 진행되는 역전파 처리 lost값을 계산하는 과정이 순전파. lost의 기울기를 계산해서 수정해야하는 양을 측정하는 과정이 역전파. 손실기울기와 부분기울기 입력이 다수인 경우의 처리 즉, 각 입력 성분 별로 따로 처리하면 된다 파라미터에 해당하는 입력 성분의 경우 학습률을 이용해 값 수정 중복 활용되는 출력의 처리 즉, 출력의 손실기울기들을 합산한 후 처리하면 된다
IT/딥러닝
2023. 7. 28. 15:40
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/pmJfn/btspeJ8jNfS/5F4Ib8xKRKD175KlPmdFmk/img.png)
정답과 추정한 값의 차이를 줄여나가는 것이 학습의 과정인데 이것을 경사하강법으로 찾아나감. 경사하강법 gradient descent algorithm w(weight)값을 조정해나가는 일종의 전략 딥러닝의 가장 기본적인 학습 알고리즘 함수의 기울기 계산해 함숫값이 작아지는 방향으로 이동 반복 미니배치 입력에 대해 순전파와 역전파를 번갈아 반복 수행 → 입력 넣고 출력이 나왔을때 출력과 정답의 차이를 미분을 통해 기울기로 구해 얼만큼 하강시켜야 하는지 기울기를 계산해 w를 수정해 나감 → 이 과정을 기울기가 작아질때까지 출력과 정답의 차이가 거의 나지 않을 때까지 반복 순전파: 입력 정보로부터 손실 함수 계산 과정 신경망 구조를 따라가면서 현재의 파라미터값 이용해 계산 역전파 정답과 출력한 추정(예측)값의..
IT/딥러닝
2023. 7. 28. 15:34