YZ ZONE

파일시스템 : 데이터를 파일로 관리할 수 있도록 파일을 생성, 삭제, 수정, 검색 기능 제공. 응용프로그램별로 필요한 데이터를 별도의 파일로 관리함. 중복성, 종속성문제 발생. 파일시스템의 문제점 1. 중복성 문제 같은 내용의 데이터가 여러 파일에 중복 저장되어 저장공간 낭비. 데이터 일관성data consistency, 무결성 data integrity을 유지하기 어려움. ex) 같은 데이터가 파일마다 달라 데이터 간 불일치가 발생해 데이터 일관성이 유지되지 않음. ex) 규약이 있으면 모든 응용 프로그램에서 확인해야해 무결성 즉 정확성이 유지되지 못함. 데이터가 가져야 할 값의 범위가 있는데 그게 어긋나는것 즉 잘못된 값을 무결성이 깨졌다고함. 해결방법: 통합으로 중복성 최소화 2. 응용 프로그램이 ..

질의응답 시스템 자연어 질의에 대한 자연어 답변을 보유한 데이터 내에서 찾아 제시해주는 시스템 정보검색(IR)시스템: 책장에서 책을 찾아주는 역할 질의응답(QA)시스템: 책을 찾아 페이지까지 펴서 찾는 정보를 제시해주는 역할 정보검색 기반 질의응답 시스템 문서겁색=유사도측정

정보추출? 비정형 또는 정형화된 텍스트에서 자동으로 구조화 된 정보를 추출하는 작업 비정형 텍스트에서 정보 추출하기 위해 규칙적이고 엔티티간의 의미적 관계를 포함하는 구조화된 데이터가 필요함 목적 문서 내 단어 간의 대상 관계를 파악하여 의미적 관계를 추출하고 이에 대해 응답하는 것을 중점을 둠 정보 추출의 학습 방법 정보추출의 주요 하위 작업 NER(Named Entity Recognition): 감지된 엔티티 이름(사랑과 조직의 경우), 장소이름, 임시 표현 및 특정 유형의 숫자 표현 인식 등 특정 유형의 개체에 대한 참조를 식별하는 것. 상호참조(Coreference Resolution): 이전 단계에서 추출된 엔티티 유형을 기반으로 엔티티 간의 상호 참조 및 wikipedia 링크 찾아 관련된 모..

언어를 이루는 구성요소에 확률값을 부여해 이를 바탕으로 다음 구성요소를 예측, 생성. 언어 모델은 통계적 언어모델SLM, 딥러닝 언어 모델DNN LM이 있음. 통계적 언어 모델(Statical Language Model, SLM) 단어열이 가지는 확률 분포를 기반으로 각 단어의 조합을 예측하는 전통적인 언어모델. 즉 주어진 글자,단어를 바탕으로 다음에 나올 확률이 가장 높은 글자나 단어를 예측. 조건부 확률(A가일어났을때 B가일어날 확률)을 언어 현상에 적용하는 데에서 출발. Ex) 스마트폰의 자동완성 기능 모델은 훈련시 주어지는 데이터(코퍼스 corpus) 내에서 각 단어들의 조합이 나오는 횟수를 카운트한 후 이에 기반하여 확률을 계산. 마르코프과정? 단어들의 조합이 무한하며, 모든 단어 조합의 경우의..

개체명 인식(Named Entity Recognition, NER) 사람 (Person PS), 장소 (Location LC), 기관(Organization OG), 날짜(Date DT)등 명명된(named)개체를 텍스트로 식별하는 작업. 개체명 인식을 통해 특정 명사에 해당하는 태그를 붙여 개체명을 인식하여 분류. Ex) 춘향아 8월15일에 강남에서 홍길동과 약속이 있으니까, 늦지 말고 오도록 해! [사람] : 춘향, 홍길동 [날짜] : 8월 15일 [장소] : 강남 BIO 태깅 기법 (BIO Tagging Scheme) 개체명을 텍스트로부터 인식시키기 위한 기법 중 하나. 추출작업에서 자주 이용됨. 태그⇒ B: 시작 단어, I:B혹은 I뒤에오는 단어 O: 개체명이 아닌 나머지 단어 Ex)New Yor..

중의성 ? 둘 이상의 의미를 가지는 표현. 해석의 혼동으로 인해 원하는 결과에 방해를 주기 때문에 적절한 문맥 정보와 함께 표현되어야함 ex)어휘적 중의성, 구조적 중의성 어휘적 중의성 -다의어에 의한 중의성 ex)손 좀 보다→ 신체일부, 수리, 혼을 내다 -동음어에 의한 중의성 ex) 밤이 좋다 → 시간, 음식 구조적 중의성 수식어에 의한 중의성 ex) 부유한 철수와 영희가 명품 매장을 갔다. → 철수가 부유한지, 둘 다 부유한지 단어 의미 중의성 해소 기법 문장 내 중의성을 가지는 어휘를 사전에 정의된 의미와 매칭하여 어휘적 중의성을 해결하는 문제 지식기반 방법 문장에 등장한 단어들을 사전에 정의된 어휘 지식을 활용하여 예측하는 방법 ex) WordNet, ConceptNet, FreeBase, Ba..