빅데이터의 이해 레포트 - 정보검색과 텍스트 마이닝에서 자연어처리가 응용되는 방식을 설명하시오.

I. 서론

검색창에 정확한 문서 제목을 모르는 채 대충 의미만 적어도 원하는 자료가 나올 때가 있다. 반대로 같은 단어를 썼는데 전혀 다른 뜻의 문서가 섞여 답답할 때도 있다. 수천만 건의 문서에서 몇 개를 고르는 정보검색과 많은 글에서 반복되는 패턴을 찾는 텍스트 마이닝은 모두 언어의 모호함을 다뤄야 한다. 자연어처리는 검색어와 문서를 분석해 같은 개념을 다른 표현으로 쓴 경우를 연결하고, 문서에서 사람과 장소와 주제 같은 정보를 뽑아 구조화한다. 빅데이터 환경에서는 텍스트가 너무 많아 사람이 일일이 읽을 수 없기 때문에 언어를 숫자와 특징으로 바꾸는 과정이 분석의 입구가 된다.

II. 본론

1) 검색어와 문서를 같은 의미 공간에 놓는 자연어처리

정보검색의 목표는 이용자의 질문과 관련 있는 문서를 빠르게 찾아 순위를 매기는 것이다. 전통적인 검색 시스템은 문서를 단어 단위로 나누고 각 단어가 어느 문서에 나타나는지 역색인을 만든다. 사용자가 검색어를 입력하면 해당 단어가 들어간 문서를 모은 뒤 관련도 점수에 따라 정렬한다. Manning, Raghavan, Schütze의 정보검색 교재는 색인, 단어 가중치, 벡터 공간 모형, 확률적 검색, 언어모형, 분류와 군집화를 검색의 핵심 주제로 다룬다. 자연어처리는 이 과정의 여러 지점에서 문장의 형태와 의미를 정리한다.

한국어 검색에서는 형태소 분석이 중요한 전처리가 될 수 있다. 검색어가 먹었다이고 문서에는 먹는다가 있을 때 표면 문자열만 비교하면 다른 단어처럼 처리된다. 어간을 찾거나 형태를 정규화하면 같은 개념의 변형을 연결할 수 있다. 조사와 어미가 많은 한국어에서는 어절 전체를 색인하는 것보다 의미를 가진 형태소를 적절히 분리하는 편이 검색 재현율을 높일 수 있다. 반대로 지나치게 잘게 나누면 불필요한 문서가 많이 검색될 수 있어 분석 단위 선택이 필요하다.

동의어와 다의어는 검색의 오래된 문제다. 자동차를 찾는 사람이 차량이라는 단어가 쓰인 문서도 원할 수 있다. 검색어 확장은 동의어나 관련어를 추가해 놓친 문서를 찾는 방식이다. 다만 사과가 과일인지 사죄인지 문맥에 따라 구분해야 한다. 예전에는 사전과 사용자가 클릭한 자료를 이용해 확장했고, 최근에는 단어 임베딩과 문맥 임베딩을 이용해 의미가 가까운 표현을 찾는다.

벡터 공간 모형에서는 문서와 검색어를 숫자 벡터로 표현하고 방향이 얼마나 비슷한지 계산한다. 단어 빈도와 역문서 빈도를 조합한 가중치는 한 문서에서 자주 나오지만 전체 문서에는 흔하지 않은 단어를 중요하게 본다. 예를 들어 모든 문서에 연구라는 말이 들어 있다면 검색 구분에는 큰 도움이 안 되지만 희귀한 전문용어는 특정 주제를 가르는 힘이 크다. 자연어처리는 형태를 정리하고 표현을 묶어 이런 가중치 계산이 실제 의미와 더 가까워지도록 돕는다.

확률적 정보검색은 문서가 검색자의 정보요구와 관련 있을 확률을 추정한다. BM25 같은 방식은 단어 빈도와 문서 길이를 조절해 순위를 매긴다. 긴 문서는 단어가 많이 나올 가능성이 높으므로 빈도만 비교하면 긴 문서가 유리해지는 문제를 보정한다. 최신 검색에서도 이런 희소 단어 기반 방식은 빠르고 강한 기준선으로 남아 있다. 딥러닝 검색이 등장했다고 전통 검색이 사라지지 않은 이유다.