YZ ZONE

질의응답 시스템 자연어 질의에 대한 자연어 답변을 보유한 데이터 내에서 찾아 제시해주는 시스템 정보검색(IR)시스템: 책장에서 책을 찾아주는 역할 질의응답(QA)시스템: 책을 찾아 페이지까지 펴서 찾는 정보를 제시해주는 역할 정보검색 기반 질의응답 시스템 문서겁색=유사도측정

정보추출? 비정형 또는 정형화된 텍스트에서 자동으로 구조화 된 정보를 추출하는 작업 비정형 텍스트에서 정보 추출하기 위해 규칙적이고 엔티티간의 의미적 관계를 포함하는 구조화된 데이터가 필요함 목적 문서 내 단어 간의 대상 관계를 파악하여 의미적 관계를 추출하고 이에 대해 응답하는 것을 중점을 둠 정보 추출의 학습 방법 정보추출의 주요 하위 작업 NER(Named Entity Recognition): 감지된 엔티티 이름(사랑과 조직의 경우), 장소이름, 임시 표현 및 특정 유형의 숫자 표현 인식 등 특정 유형의 개체에 대한 참조를 식별하는 것. 상호참조(Coreference Resolution): 이전 단계에서 추출된 엔티티 유형을 기반으로 엔티티 간의 상호 참조 및 wikipedia 링크 찾아 관련된 모..

언어를 이루는 구성요소에 확률값을 부여해 이를 바탕으로 다음 구성요소를 예측, 생성. 언어 모델은 통계적 언어모델SLM, 딥러닝 언어 모델DNN LM이 있음. 통계적 언어 모델(Statical Language Model, SLM) 단어열이 가지는 확률 분포를 기반으로 각 단어의 조합을 예측하는 전통적인 언어모델. 즉 주어진 글자,단어를 바탕으로 다음에 나올 확률이 가장 높은 글자나 단어를 예측. 조건부 확률(A가일어났을때 B가일어날 확률)을 언어 현상에 적용하는 데에서 출발. Ex) 스마트폰의 자동완성 기능 모델은 훈련시 주어지는 데이터(코퍼스 corpus) 내에서 각 단어들의 조합이 나오는 횟수를 카운트한 후 이에 기반하여 확률을 계산. 마르코프과정? 단어들의 조합이 무한하며, 모든 단어 조합의 경우의..

개체명 인식(Named Entity Recognition, NER) 사람 (Person PS), 장소 (Location LC), 기관(Organization OG), 날짜(Date DT)등 명명된(named)개체를 텍스트로 식별하는 작업. 개체명 인식을 통해 특정 명사에 해당하는 태그를 붙여 개체명을 인식하여 분류. Ex) 춘향아 8월15일에 강남에서 홍길동과 약속이 있으니까, 늦지 말고 오도록 해! [사람] : 춘향, 홍길동 [날짜] : 8월 15일 [장소] : 강남 BIO 태깅 기법 (BIO Tagging Scheme) 개체명을 텍스트로부터 인식시키기 위한 기법 중 하나. 추출작업에서 자주 이용됨. 태그⇒ B: 시작 단어, I:B혹은 I뒤에오는 단어 O: 개체명이 아닌 나머지 단어 Ex)New Yor..

중의성 ? 둘 이상의 의미를 가지는 표현. 해석의 혼동으로 인해 원하는 결과에 방해를 주기 때문에 적절한 문맥 정보와 함께 표현되어야함 ex)어휘적 중의성, 구조적 중의성 어휘적 중의성 -다의어에 의한 중의성 ex)손 좀 보다→ 신체일부, 수리, 혼을 내다 -동음어에 의한 중의성 ex) 밤이 좋다 → 시간, 음식 구조적 중의성 수식어에 의한 중의성 ex) 부유한 철수와 영희가 명품 매장을 갔다. → 철수가 부유한지, 둘 다 부유한지 단어 의미 중의성 해소 기법 문장 내 중의성을 가지는 어휘를 사전에 정의된 의미와 매칭하여 어휘적 중의성을 해결하는 문제 지식기반 방법 문장에 등장한 단어들을 사전에 정의된 어휘 지식을 활용하여 예측하는 방법 ex) WordNet, ConceptNet, FreeBase, Ba..

구문 분석: 자연어 문장에서 구성 요소들의 문법적 구조를 분석하는 기술 문법적 구조 정보를 자동으로 추출함으로써 자연어처리 기술(기계번역, 정보 검색 등)에서 문장 의미의 분석을 돕는 세부 기술로 활용 가능 구문 문법(Construction Grammar) :언어학에서 문법적 구성 요소들로부터 문자을 생성하고, 반대로 문장을 구성 요소들로 분석하는 분법 구문 문법을 정의하는 것은 구문 분석에서 중요한 요소 중 하나 구문 분석의 목표: 자연어 문장의 문법적 구조를 ‘구문 문법’에 따라 자동으로 분석하는 것 구문 문법을 정의하는 것은 곧 구문 분석을 통해 추출하고자 하는 문법 구조 정보를 정의하는 것 구문 분석 기술에서 대표적으로 할용되는 구문 문법 구구조 문법, 의존 문법 구문 중의성 구문 중의성(Synt..