목록자연어처리 최적화 (1)

YZ ZONE

[자연어처리] 2.6 자연어처리를 위한 수학(최적화)

2.3 최적화 순수 수학의 최적화: 어떤식이 있을때 최적점을 찾는것. 기계학습의 최적화: 훈련집합이라는 샘플 데이터가 일정한 양이 주어지고, 그 집합에 따라 정해지는 목적 함수의 최저점을 찾아야함. 어떻게 찾냐? 뒤에서 배움. -데이터로 미분하는 과정 필요→오류 역전파 알고리즘(3.4절) -주로 SGD(스토캐스틱 경사 하강법)사용 2.3.1 매개변수 공간의 탐색 데이터가 있을때 데이터가 발생하는 특징공간에서 확률분포를 정확하게 추론을 할 수 있으면 분류를 정화하게 할 수 있게 됨. 기계학습에서는 학습 데이터(학습, 훈련집합에 사용되어지는 작은 양의 데이터)를 통해서 찾아내야하는 문제가 있음. 실제 특징공간에서의 차원은 매우 큰데 그에 비해 훈련집합의 크기는 작아 참인 확률분포를 구하는 일은 불가능함. 따..
IT/자연어처리 2023. 2. 2. 17:44
이전 Prev 1 Next 다음