목록텍스트 전처리 (1)

YZ ZONE

[자연어처리] 4. 텍스트의 전처리

비정형 데이터(unstructured Data) -형태와 구조가 다른 구조화 되지 않은 데이터. 그림, 영상, 음성, 문서 -비정형 데이터의 오류를 수정하는 과정을 전처리 과정이라 함 -실세계 데이터는 대부분 가공되어 있지 않은 비정형 데이터라 전처리 과정을 필수적. 텍스트 문서의 변환 -파일로부터 텍스트를 추출하는 것이 전처리의 첫 단계 -일반 문서들은 사람이 읽기 간편하나 파일 형식에 따라 저장 방법이 달라 시스템이 읽기 힘듬. -사람: 해당 텍스트가 하나의 문장이며 그 내용을 쉽게 파악 가능 -시스템: 문서파일을 해당 형식에 따라 크롤링(Crawling)하면 다음과 같이 다르게 읽힘. -’문서파일’→ ‘문서’ 작업 수행 - 목표 언어의 어휘만 남기고 기타 텍스트(특수문자, 타 언어)들은 날려야함. ..
IT/자연어처리 2023. 2. 2. 18:31
이전 Prev 1 Next 다음