선형대수 레포트 - 기계학습의 개념과 발전 과정을 설명하시오.

I. 서론

프로그래밍을 처음 배울 때는 조건문을 잘 쓰면 컴퓨터가 똑똑해질 것 같았다. 그런데 사진 속 고양이 찾기 규칙을 말로 적으려 하면 금방 막힌다. 귀 모양, 털, 눈의 위치를 하나씩 규칙으로 써도 자세나 조명이 바뀌면 예외가 생긴다. 기계학습은 사람이 모든 판단 규칙을 직접 쓰기보다 많은 사례에서 입력과 결과의 관계를 학습하게 하는 접근이다. 오늘날의 기계학습은 갑자기 등장한 기술이 아니다. 초기 신경망과 패턴인식, 통계학, 계산능력의 변화가 여러 번 만나고 멀어지면서 발전했다. 선형대수는 그 과정에서 데이터를 벡터와 행렬로 표현하고 모델의 계산을 가능하게 한 공통 언어 역할을 했다.

II. 본론

1) 규칙을 쓰는 대신 데이터에서 함수를 찾는 학습

기계학습의 기본 생각은 데이터에서 규칙성을 찾아 새로운 입력에 대한 결과를 예측하는 것이다. 지도학습에서는 입력과 정답이 함께 주어진 사례를 이용해 함수의 매개변수를 조정한다. 스팸메일 분류에서는 메일의 특징이 입력이고 스팸 여부가 정답이 된다. 회귀는 집값이나 수요처럼 연속값을 예측하고, 분류는 범주를 예측한다. 비지도학습은 정답 라벨 없이 비슷한 사례를 묶거나 데이터의 구조를 찾는다. 강화학습은 행동 뒤 받는 보상을 바탕으로 장기적으로 좋은 행동전략을 학습한다.

학습이라는 말 때문에 컴퓨터가 사람처럼 이해한다고 오해하기 쉽다. 많은 모델은 주어진 목적함수를 줄이거나 보상을 키우도록 수치 매개변수를 조정한다. 선형회귀를 생각하면 입력 벡터와 가중치 벡터의 내적을 계산해 예측값을 만들고 실제값과의 오차를 줄일 방향으로 가중치를 바꾼다. 신경망에서는 이 계산이 여러 층으로 이어진다. 내부 과정은 복잡해도 벡터, 행렬곱, 미분을 이용한 최적화라는 수학적 틀이 중심에 있다.

일반화는 기계학습의 핵심 기준이다. 학습자료를 외우는 것만으로는 쓸모가 없다. 보지 못한 데이터에서도 성능을 유지해야 한다. 모델이 너무 단순하면 중요한 패턴을 놓치고, 너무 복잡하면 훈련자료의 잡음까지 외울 수 있다. 훈련자료와 검증자료를 나누고 정규화 같은 방법을 쓰는 이유도 일반화 성능을 높이기 위해서다.

데이터 표현도 모델의 능력을 크게 좌우한다. 문자를 숫자로 바꾸고 사진을 픽셀 값의 배열로 표현하며 음성을 시간에 따른 수치로 바꿔야 계산할 수 있다. 범주형 데이터는 원-핫 벡터나 임베딩으로 표현할 수 있다. 임베딩은 의미가 비슷한 항목을 벡터공간에서 가까운 위치에 놓도록 학습한다. 현대 자연어처리에서 단어와 문장을 고차원 벡터로 다루는 방식은 선형대수 없이 설명하기 어렵다.

기계학습은 통계적 추론과도 가까운 관계를 가진다. 데이터가 우연히 가진 패턴과 실제로 반복될 구조를 구분해야 하고 불확실성을 고려해야 한다. 예측 정확도가 높아도 데이터가 편향됐거나 미래 정보를 잘못 포함했다면 모델의 가치가 떨어진다. 알고리즘만 배우고 데이터 생성과정을 보지 않으면 기계학습을 제대로 이해하기 어렵다.