빅데이터의 이해 레포트 - 기계학습과 빅데이터 분석이 상호작용하는 방식을 설명하시오.

I. 서론

데이터가 많으면 기계학습이 저절로 똑똑해질 것 같지만 수업 실습에서 작은 오류 하나가 결과를 크게 바꾸는 모습을 보면 생각이 달라진다. 날짜 형식이 섞이거나 같은 행이 중복되거나 목표값이 잘못 붙으면 데이터가 많을수록 문제도 커질 수 있다. 빅데이터 분석은 대량의 자료를 저장하고 정리하며 의미 있는 구조를 찾는 과정이고, 기계학습은 데이터에서 규칙과 패턴을 학습해 분류나 예측에 활용하는 방법이다. 두 영역은 따로 움직이지 않는다. 빅데이터는 학습의 재료와 처리 기반을 제공하고, 기계학습은 방대한 데이터에서 사람이 직접 찾기 어려운 패턴을 추출하며, 모델의 결과는 다시 어떤 데이터를 모을지 결정한다.

II. 본론

1) 큰 데이터를 학습 가능한 재료로 바꾸는 과정

빅데이터는 양이 많다는 특징만으로 설명되지 않는다. 빠르게 들어오는 데이터, 형식이 다른 데이터, 신뢰도가 일정하지 않은 데이터가 함께 문제를 만든다. 온라인 쇼핑을 예로 들면 구매내역은 표 형태로 정리되지만 검색어는 문자이고 상품 사진은 이미지이며 클릭 기록은 시간 순서의 로그다. 기계학습 모델이 이런 자료를 바로 이해하는 것은 아니다. 분석 목적에 맞춰 데이터를 고르고 정리하며 수치 형태의 특징으로 바꾸는 작업이 필요하다.

기계학습은 학습용 데이터에서 입력과 결과 사이의 관계를 찾는다. 지도학습에서는 정답 역할을 하는 라벨이 있어야 하고, 비지도학습에서는 정답 없이 데이터 사이의 구조를 찾는다. 추천 시스템이나 이상탐지처럼 실제 서비스에서는 여러 방식이 섞일 수 있다. 데이터가 커지면 더 다양한 사례를 학습할 가능성이 생기지만 학습에 필요한 계산량과 저장공간도 늘어난다. 그래서 분산 저장과 병렬처리, 클라우드 환경 같은 빅데이터 기술이 기계학습의 규모를 키우는 기반이 된다.

데이터 전처리는 두 영역이 가장 직접적으로 만나는 지점이다. 누락값을 어떻게 처리할지, 같은 기록이 중복됐는지, 숫자의 단위가 맞는지, 범주를 어떤 방식으로 인코딩할지 결정해야 한다. 구글의 기계학습 교육자료도 모델 성능이 데이터의 품질과 양에 크게 의존하며 누락값, 잘못된 라벨, 잡음이 있는 특징을 관리해야 한다고 설명한다. 좋은 알고리즘을 고르는 일보다 데이터 준비에 많은 시간이 드는 이유다.

특징 추출과 특징공학도 중요하다. 원자료의 모든 값을 그대로 넣는다고 모델이 좋은 판단을 하는 것은 아니다. 배달시간을 예측한다면 주문 시각 자체보다 요일, 시간대, 거리, 날씨처럼 문제와 관련된 형태로 바꾼 값이 더 유용할 수 있다. 이미지와 음성에서는 딥러닝이 필요한 특징을 자동으로 학습하는 비중이 커졌지만 어떤 데이터를 포함하고 어떤 목표값을 둘지는 여전히 사람이 결정한다.

데이터가 너무 클 때는 전부 쓰는 것이 항상 최선이 아니다. 학습비용이 지나치게 높거나 비슷한 사례가 반복되면 대표성 있는 표본을 골라 학습할 수 있다. 반대로 희귀한 이상 사례를 무심코 줄이면 모델이 중요한 사건을 배우지 못할 수 있다. 사기거래나 희귀질환처럼 드문 사건을 찾는 문제에서는 데이터의 전체 크기보다 필요한 사례가 충분히 포함됐는지가 더 중요하다.