YZ ZONE

질의응답 시스템 자연어 질의에 대한 자연어 답변을 보유한 데이터 내에서 찾아 제시해주는 시스템 정보검색(IR)시스템: 책장에서 책을 찾아주는 역할 질의응답(QA)시스템: 책을 찾아 페이지까지 펴서 찾는 정보를 제시해주는 역할 정보검색 기반 질의응답 시스템 문서겁색=유사도측정

중의성 ? 둘 이상의 의미를 가지는 표현. 해석의 혼동으로 인해 원하는 결과에 방해를 주기 때문에 적절한 문맥 정보와 함께 표현되어야함 ex)어휘적 중의성, 구조적 중의성 어휘적 중의성 -다의어에 의한 중의성 ex)손 좀 보다→ 신체일부, 수리, 혼을 내다 -동음어에 의한 중의성 ex) 밤이 좋다 → 시간, 음식 구조적 중의성 수식어에 의한 중의성 ex) 부유한 철수와 영희가 명품 매장을 갔다. → 철수가 부유한지, 둘 다 부유한지 단어 의미 중의성 해소 기법 문장 내 중의성을 가지는 어휘를 사전에 정의된 의미와 매칭하여 어휘적 중의성을 해결하는 문제 지식기반 방법 문장에 등장한 단어들을 사전에 정의된 어휘 지식을 활용하여 예측하는 방법 ex) WordNet, ConceptNet, FreeBase, Ba..

비정형 데이터(unstructured Data) -형태와 구조가 다른 구조화 되지 않은 데이터. 그림, 영상, 음성, 문서 -비정형 데이터의 오류를 수정하는 과정을 전처리 과정이라 함 -실세계 데이터는 대부분 가공되어 있지 않은 비정형 데이터라 전처리 과정을 필수적. 텍스트 문서의 변환 -파일로부터 텍스트를 추출하는 것이 전처리의 첫 단계 -일반 문서들은 사람이 읽기 간편하나 파일 형식에 따라 저장 방법이 달라 시스템이 읽기 힘듬. -사람: 해당 텍스트가 하나의 문장이며 그 내용을 쉽게 파악 가능 -시스템: 문서파일을 해당 형식에 따라 크롤링(Crawling)하면 다음과 같이 다르게 읽힘. -’문서파일’→ ‘문서’ 작업 수행 - 목표 언어의 어휘만 남기고 기타 텍스트(특수문자, 타 언어)들은 날려야함. ..

데이터가 많은 샘플들을 가지고 있는데 이것을 대표하는 정보를 어떻게 사용할 것이냐.가장 널리 쓰이는 방법에 평균과 분산이 있음. 평균: u=각각의 데이터(xi)의 값들을 다 더한 다음 개수만큼 나눔. 분산: 각각의 값에서 평균을 뺀 다음 제곱을 해서 값을 모두 더함. 그 다음 개수만큼 나눔. 분산에 제곱을 씌워주는것을 표준편차라고함. 공분산행렬 : i, j라는 인덱스가 있었을때 두개의 다른 특징들의 면화 양상을 뜻함. 한쪽의 특징이 커질때 다른쪽도 커지면 양수 반대면 음수를 가짐. 2.2.5 유용한 확률분포 가우시안 분포 가운데가 확률이 높고 가장자리로 갈수록 확률이 적어지는 형태를 정규분포를 따른다고 이야기하고 가우시안 분포가 정규분포를 표현하는데 가장 널리 사용되어지는 방법중의 하나이다. 높이가 평균..

2.2.3 최대 우도 일부분 또는 전체 매개변수(세타)를 모르는 경우 매개변수를 추정해야하는 상황. (최대우도추정을 함) 예제) (b)상황. x처럼 나오게 할 수 있는 최대 확률을 가지는 매게 변수를 추정 하는 문제. 기계학습에서 매게변수 파라미터라고 하는 정해지지 않은 것들이 많이 있음. 그런 것들의 값을 찾아 나갈때 확률을 기반으로 구할수도 있다.