YZ ZONE

구문 분석: 자연어 문장에서 구성 요소들의 문법적 구조를 분석하는 기술 문법적 구조 정보를 자동으로 추출함으로써 자연어처리 기술(기계번역, 정보 검색 등)에서 문장 의미의 분석을 돕는 세부 기술로 활용 가능 구문 문법(Construction Grammar) :언어학에서 문법적 구성 요소들로부터 문자을 생성하고, 반대로 문장을 구성 요소들로 분석하는 분법 구문 문법을 정의하는 것은 구문 분석에서 중요한 요소 중 하나 구문 분석의 목표: 자연어 문장의 문법적 구조를 ‘구문 문법’에 따라 자동으로 분석하는 것 구문 문법을 정의하는 것은 곧 구문 분석을 통해 추출하고자 하는 문법 구조 정보를 정의하는 것 구문 분석 기술에서 대표적으로 할용되는 구문 문법 구구조 문법, 의존 문법 구문 중의성 구문 중의성(Synt..

어휘 분석: 단어의 구조를 식별하고 분석을해 어휘가 어떤 의미와 품사를 가지는지 연구 형태소 분석 : 더 이상 분해될 수 없는 최소한의 의미 단위인 형태소를 자연어의 제약 조건과 문법 규칙에 맞춰 분석하는 것 ex) 컴퓨터를 = 컴퓨터 + 를 → 각각 의미를 지님 형태소 분석 절차 단어에서 최소 의미를 포함하는 형태소 후보로 분리ex) 한국어(Korean)는 = 한국어 + ( + Korean + ) + 는-같은 형태소열에서 분석될 수 있는 후보 나는 = 날 + 는 (fly의 의미) ex) 나는 = 나 + 는 (me의 의미) 한국어에서 형태소가 연결될 때, 형태소의 변형이 일어나기 때문에 형태소 원형의 복원이 필요함 형태소 분석의 처리 대상인 어절(또는 단어)은 하나 이상의 형태소가 연결된 것. ‘형태소열..

비정형 데이터(unstructured Data) -형태와 구조가 다른 구조화 되지 않은 데이터. 그림, 영상, 음성, 문서 -비정형 데이터의 오류를 수정하는 과정을 전처리 과정이라 함 -실세계 데이터는 대부분 가공되어 있지 않은 비정형 데이터라 전처리 과정을 필수적. 텍스트 문서의 변환 -파일로부터 텍스트를 추출하는 것이 전처리의 첫 단계 -일반 문서들은 사람이 읽기 간편하나 파일 형식에 따라 저장 방법이 달라 시스템이 읽기 힘듬. -사람: 해당 텍스트가 하나의 문장이며 그 내용을 쉽게 파악 가능 -시스템: 문서파일을 해당 형식에 따라 크롤링(Crawling)하면 다음과 같이 다르게 읽힘. -’문서파일’→ ‘문서’ 작업 수행 - 목표 언어의 어휘만 남기고 기타 텍스트(특수문자, 타 언어)들은 날려야함. ..

-언어를 이루는 단위: 음절,형태소,어절,품사(part-of-speech,POS) -언어의 구조: 구구조, 의존구조 음절(Syllable) -언어를 말하고 들을 때, 하나의 덩어리로 여겨지는 가장 작은 발화의 단위 -한국어에서 음절은 기본적으로 초성, 중성, 종성으로 이루어져 있음. -초성은 가장 처음에 오는 소리로 자음, 중성은 가운데 소리로 모음, 종성은 마지막 소리로 자음이 해당(받침). -한국어의 음절은 모음 단독으로 이루어 질 수도 있고 모음 앞, 뒤에 자음이 하나씩 붙어 다음과 같은 형태로 구성 -음절은 말소리의 단위이기 때문에 소리나는 대로 적었을 때의 글자 각각 하나가 하나의 음절 형태소(Morpheme) -의미를 가지는 가장 작은 단위로 형태소를 쪼개면 더이상 기능이나 의미를 가지지 않음..