자연언어처리 2024년 2학기 중간과제물 - 7강까지 학습한 모델(또는 알고리즘) 중 하나를 적용한 논문을 찾아서, 그 논문에서 모델이 어떻게

I. 서론

자연어처리를 공부하다 보면 모델이 복잡해질수록 성능도 늘 좋아질 것 같은 착각에 빠지기 쉽다. 여러 층을 쌓은 신경망과 긴 학습시간을 보고 나면 짧은 수식과 평균 연산으로 이루어진 분류기는 오래된 도구처럼 느껴지기도 한다. 그런데 Armand Joulin과 동료들이 발표한 "Bag of Tricks for Efficient Text Classification"은 정반대 방향에서 출발한다. 문장 속 단어와 단어 묶음을 저차원 벡터로 표현하고 평균을 낸 뒤 선형 분류기를 붙이는 비교적 간결한 구조로, 당시 널리 쓰이던 깊은 신경망 분류기와 비슷한 정확도를 내면서 학습시간을 크게 줄였다. 논문 제목의 tricks라는 말이 가볍게 들리지만 내용은 텍스트 분류에서 어떤 연산이 실제로 필요한지 다시 묻게 한다. 강의에서 익힌 단어 표현, n-gram, 분류기의 연결을 실제 연구가 어떻게 조합했는지 확인하기에 적합한 사례다.

II. 본론

1) 선택 논문과 fastText를 고른 이유

분석 대상으로 고른 논문은 Joulin, Grave, Bojanowski, Mikolov가 2017년 유럽 전산언어학회 단기논문집에 발표한 "Bag of Tricks for Efficient Text Classification"이다. 논문은 2016년 arXiv에 먼저 공개됐고, 2017년 EACL Proceedings Volume 2의 427쪽에서 431쪽에 실렸다. 저자들은 당시 Facebook AI Research 소속이었으며, 연구의 목표를 거대한 텍스트 분류 문제에서 빠르고 경쟁력 있는 기준모형을 만드는 데 두었다. 논문이 짧은 편인데도 이후 fastText라는 이름이 텍스트 분류와 단어표현 분야에서 오래 남은 이유는 성능표뿐 아니라 계산비용을 연구문제로 전면에 놓았기 때문이다.

fastText 분류기는 문장을 단어들의 집합으로 표현하는 생각에서 출발한다. 각 단어에는 저차원 벡터가 연결되고, 한 문장에 포함된 단어 벡터들의 평균을 숨은 표현으로 사용한다. 그 표현이 선형 분류층으로 들어가 각 범주의 점수를 만든다. 어순을 완전히 버리면 not good과 good을 충분히 구분하지 못하는 문제가 생길 수 있는데, 저자들은 단어 bigram을 함께 사용해 가까운 단어 순서 정보를 일부 보존했다. 구조를 복잡하게 깊게 만들기보다 입력 표현에 n-gram을 보태는 선택이다. 한 문장을 읽을 때 단어 하나하나와 바로 옆 조합이 주는 정보를 함께 본다고 생각하면 이해가 쉽다.