빅데이터의 이해 레포트 - 빅데이터에 대한 정의와 등장하게 된 배경, 그리고 빅데이터 활용사례에 대하여 2가지 이상

I. 서론

휴대전화에서 배달 앱을 켜고 메뉴를 고른 뒤 결제까지 하는 데 몇 분도 걸리지 않는다. 그 짧은 동안 검색한 음식, 머문 화면, 주문 시간, 결제 기록, 위치와 이동 정보 같은 흔적이 남는다. 나는 예전에는 이런 기록을 그냥 서비스 이용 내역 정도로 생각했다. 빅데이터 수업을 듣고 나니 중요한 것은 기록이 많이 쌓였다는 사실보다 서로 다른 기록을 모아 전에 묻기 어려웠던 질문을 던질 수 있게 됐다는 데 있었다. 어느 시간대에 어디로 사람이 움직이는지, 어떤 조건에서 수요가 갑자기 늘어나는지, 사고 위험이 높아지는 지점을 어떻게 찾을지 같은 문제가 데이터 분석의 대상이 됐다. 빅데이터는 거대한 파일의 별명이 아니라 데이터가 만들어지고 저장되고 결합되고 분석되는 환경 전체가 달라지며 생긴 개념이라고 이해하는 편이 맞다.

II. 본론

1) 데이터가 너무 많아서가 아니라 다루는 방식이 달라진 순간

빅데이터를 설명할 때 흔히 규모, 생성 속도, 형태의 다양성을 말한다. 김성우와 정건섭은 빅데이터의 특징을 대용량, 빠른 생성과 처리, 다양한 형태와 연결해 설명한다. 숫자로 정리된 거래 자료만이 아니라 글, 사진, 위치 기록, 센서 신호처럼 구조가 다른 자료가 함께 분석 대상이 된다는 뜻이다. 여기서 핵심은 어느 정도 용량부터 빅데이터라고 딱 잘라 말하기 어렵다는 점이다. 과거의 장비와 방법으로는 저장하거나 분석하기 버거웠던 데이터를 분산 저장과 병렬 처리 같은 기술로 다룰 수 있게 되면서 기준도 계속 움직였다.

그래서 나는 빅데이터를 '기존 방식으로 다루기 어려울 만큼 크고 빠르며 다양한 데이터를 새로운 저장·처리·분석 기술로 다뤄 의미를 찾는 것'으로 이해한다. 이 정의에는 데이터 자체와 처리 능력이 같이 들어간다. 같은 데이터라도 기술이 발전하면 더 이상 특별히 큰 데이터가 아닐 수 있고, 반대로 센서가 초 단위로 쏟아내는 기록은 짧은 기간에도 전통적인 관리 방식으로 다루기 힘들 수 있다. 빅데이터를 용량만으로 설명하면 왜 2010년대에 이 말이 급속히 퍼졌는지 설명하기 어렵다.

전통적인 데이터 분석은 분석하기 좋은 형태로 정리된 표를 중심으로 진행되는 일이 많았다. 판매량, 가격, 연령, 지역처럼 행과 열에 들어가는 변수가 대표적이다. 빅데이터 환경에서는 고객 후기의 문장, 도로의 영상, 카드 결제 시각, 기계의 진동값을 함께 볼 수 있다. 형태가 다르면 오류도 다르게 생긴다. 위치 정보는 기기가 꺼지면 빠지고, 온라인 글은 일부 이용자의 목소리가 과도하게 잡힐 수 있으며, 센서에는 고장으로 튄 값이 섞일 수 있다. 데이터가 많다고 현실을 자동으로 정확히 보여주는 것은 아니다.

이 지점이 수업에서 가장 재미있었다. 데이터가 커지면 표본오차가 사라져 모든 문제가 해결될 것 같았는데 실제로는 편향된 자료가 대량으로 모이면 편향도 커질 수 있다. 배달 앱 이용 기록만으로 동네 전체의 식생활을 설명하면 앱을 쓰지 않는 사람은 빠진다. 온라인 검색량이 높다고 실제 구매가 같은 비율로 늘었다고 말할 수도 없다. 빅데이터 분석은 '많음'보다 데이터가 어떤 행동을 기록한 것인지 읽는 일이 먼저다. 기술을 배우면서 오히려 자료의 출처를 더 의심해야 한다는 점이 조금 역설적으로 느껴졌다.