빅데이터의 이해 레포트 - 최근 빅데이터의 개념 및 활용 사례를 제시하고, 빅데이터 기술로 인해 발생하는 문제점과 해결책을

I. 서론

휴대전화 지도에서 버스 도착시간을 확인하고, 온라인 쇼핑몰에서 추천상품을 보고, 병원 예약 앱으로 진료기록을 확인하는 하루에는 많은 데이터가 남는다. 예전에는 빅데이터를 "엄청나게 큰 데이터"라고만 이해했는데 사례를 찾아보면 크기만으로는 설명이 부족했다. 서로 다른 형태의 자료가 빠른 속도로 쌓이고, 기존 방식으로 다루기 어려운 자료를 분석해 의사결정에 쓰는 과정까지 포함해야 빅데이터의 의미가 잡힌다. 데이터가 많아질수록 더 정확한 답이 자동으로 나오는 것도 아니다. 개인정보가 섞일 수 있고, 과거 자료에 있던 차별이 알고리즘에 반영될 수 있으며, 분석 결과를 믿고 잘못된 결정을 내릴 위험도 커진다. 빅데이터의 가치는 많이 모으는 능력보다 필요한 자료를 책임 있게 연결하고 해석하는 능력에서 생긴다.

II. 본론

1) 크기보다 연결과 분석에 무게가 있는 빅데이터

빅데이터는 보통 데이터의 양, 생성 속도, 형태의 다양성이라는 특징으로 설명된다. 거래기록처럼 표에 맞춰 저장되는 정형데이터뿐 아니라 글, 사진, 영상, 위치정보, 센서값 같은 비정형·반정형 데이터가 함께 분석 대상이 된다. 온라인 서비스가 실시간으로 데이터를 만들고 사물인터넷 기기가 계속 신호를 보내면서 기존의 한정된 데이터베이스 처리 방식만으로는 저장과 분석이 어려운 규모가 생겼다. 그래서 분산저장, 병렬처리, 클라우드, 기계학습 같은 기술이 함께 발전했다.

그렇다고 몇 건 이상이면 빅데이터라는 고정 기준이 있는 것은 아니다. 어떤 조직에는 수백만 건의 데이터가 큰 규모일 수 있고 다른 조직에는 평범한 양일 수 있다. 더 중요한 것은 기존 방식으로 처리하기 어려운 자료를 분석해 새로운 패턴이나 의사결정 근거를 만드는지다. 교통카드 승하차 기록만 볼 때와 이동통신 유동인구, 택시 이용, 시간대 정보를 같이 볼 때 얻을 수 있는 질문이 달라진다. 서로 다른 자료를 결합할 때 개인 수준에서 보이지 않던 지역별 흐름을 찾을 수 있다.

빅데이터 분석은 수집, 정제, 저장, 분석, 해석이 이어지는 과정이다. 데이터가 많다고 해도 누락과 오류가 크면 분석 결과는 믿기 어렵다. 같은 사람을 중복으로 기록하거나 특정 연령층의 데이터가 거의 없다면 모형이 현실을 제대로 대표하지 못한다. 위치정보처럼 민감한 자료는 수집 단계부터 목적과 보호방식을 정해야 한다. 분석가는 모델의 정확도만 보지 않고 데이터가 어떻게 만들어졌는지 확인해야 한다. 편리한 숫자 하나 뒤에 수집 조건과 제외된 사람이 숨어 있을 수 있기 때문이다.

최근 빅데이터와 인공지능은 서로 가까워졌다. 기계학습 모델은 많은 데이터를 이용해 패턴을 학습하고 예측이나 분류를 수행한다. 추천서비스는 과거 이용행동을 바탕으로 다음 선택을 예측하고, 이상거래 탐지는 평소와 다른 거래 패턴을 찾는다. 공공영역에서는 교통량이나 민원 데이터를 분석해 정책 수요를 파악할 수 있다. 다만 빅데이터가 곧 인공지능은 아니다. 데이터 집계와 통계분석만으로도 중요한 결정을 지원할 수 있고, 인공지능 모델이 작은 데이터로 작동하는 경우도 있다. 두 개념을 같은 말처럼 쓰면 기술의 목적과 위험을 구분하기 어려워진다.

2) 심야버스와 공공서비스에서 확인되는 활용의 가치