기초통계학 레포트 - 자연어처리의 개념과 발전 과정을 설명하시오.

I. 서론

검색창에 문장을 입력하면 철자가 조금 틀려도 원하는 결과가 나오고, 휴대전화는 음성으로 말한 내용을 글자로 바꾸며, 번역기는 긴 문장을 다른 언어로 옮긴다. 예전에는 이런 기능이 각각 다른 기술처럼 느껴졌지만 자연어처리를 배우고 나니 공통된 질문이 보였다. 컴퓨터가 사람의 말과 글을 어떤 숫자로 바꾸고, 그 숫자에서 의미와 문맥을 어떻게 찾는가라는 질문이다. 자연어는 같은 뜻을 여러 표현으로 말할 수 있고 한 단어가 문장에 따라 다른 뜻을 갖는다. 컴퓨터가 다루기 쉬운 정형 자료와 달리 형태가 일정하지 않다. 자연어처리는 이런 언어 자료를 분석하고 생성할 수 있도록 계산하는 분야이며, 발전 과정은 규칙을 사람이 직접 쓰던 시기에서 데이터의 통계를 배우는 시기, 깊은 신경망이 문맥 표현을 학습하는 시기로 이어져 왔다.

II. 본론

1) 사람의 말을 계산 가능한 자료로 바꾸는 자연어처리

자연어처리는 사람이 일상에서 사용하는 언어를 컴퓨터가 분석하고 이해하고 생성하도록 만드는 기술 영역이다. 텍스트 분류, 감성 분석, 기계번역, 질의응답, 문서 요약, 개체명 인식, 검색, 대화 시스템이 대표 과제다. 같은 문장을 처리해도 목적에 따라 필요한 정보가 다르다. 스팸 분류에서는 메시지 전체가 스팸인지 판단하면 되고, 개체명 인식에서는 문장 안에서 사람 이름과 장소를 찾아야 한다. 번역에서는 원문의 의미와 문장 구조를 다른 언어의 표현으로 바꿔야 한다.

컴퓨터가 언어를 다루려면 먼저 문자열을 분석 단위로 나눠야 한다. 한국어에서는 띄어쓰기만으로 단어를 완전히 나누기 어렵다. 조사와 어미가 붙고 하나의 어절 안에 여러 문법 정보가 담기기 때문이다. 형태소 분석은 어절을 더 작은 단위로 나누고 품사를 붙인다. 영어도 축약형과 구두점, 복합어를 어떻게 자를지 정해야 한다. 최근 모델은 자주 쓰는 문자열 조각을 데이터에서 학습해 서브워드 단위로 나누는 토큰화 방식을 많이 쓴다.

언어를 숫자로 표현하는 방법도 핵심이다. 초기에는 단어마다 서로 다른 번호를 붙이거나 문서 안의 단어 빈도를 벡터로 만들었다. 단어 가방 표현은 문장의 어순을 거의 버리고 어떤 단어가 몇 번 등장했는지 본다. 구조는 간단하지만 두 단어의 의미가 비슷하다는 사실을 직접 표현하지 못한다. 문서 분류와 정보검색에서는 이런 빈도 기반 표현이 오랫동안 중요한 역할을 했다.

통계적 언어모형은 단어가 나타날 확률을 계산한다. 앞에 나온 단어 몇 개를 보고 뒤에 어떤 단어가 올 가능성이 큰지 추정하는 n-그램 모형이 대표적이다. 많은 문장에서 자주 이어지는 표현을 세면 어느 문장이 더 자연스러운지 확률로 비교할 수 있다. 데이터에 없는 조합의 확률이 0이 되는 문제를 줄이기 위해 평활화 기법을 사용한다. 통계학에서 관측 빈도만 믿지 않고 보이지 않은 사건에 작은 확률을 배분하는 생각과 닿아 있다.

자연어처리에서 통계가 중요한 이유는 언어에 예외가 많기 때문이다. 문법 규칙만으로는 실제 사람이 쓰는 표현의 다양성을 전부 적기 어렵다. 같은 뜻이라도 말투와 순서가 달라지고 새 단어가 계속 생긴다. 확률 모형은 모든 경우를 규칙으로 정하지 않고 자료에서 자주 나타난 경향을 학습한다. 다만 데이터가 편향돼 있으면 그 경향도 함께 배운다. 많이 나온 표현이 바람직한 표현이라는 뜻은 아니다.