AI/NLP

·AI/NLP
Stemming의 필요성 정보검색 시스템에서 색인 파일의 크기를 줄이기 위해 단어(어절) 대신 어간(stem)을 저장 → 50% 이상의 압축 Stemming 기능 ex) Computer, coumputers, compute, computes, computed, computing 색인 어형이 변형된 단어로부터 접사 제거 - 어간 분리 색인어가 어간화되어 효율성 및 색인파일 압축 효과 검색 단수형-복수형 등 관련 있는 단어들을 동일한 어간으로 매치 질의어 확장 효과Stemming 방법 접사 제거(Affix Removal) 하나의 어간을 남기기 위해 용어들의 접두어와 접미어 제거 후속자 변형(Succesor Variety) 본문내의 글자가 연속으로 나타나는 빈도를 사용 테이블 탐색(Table Lookup) 용..
Shine_sunho
'AI/NLP' 카테고리의 글 목록