빅데이터의 이해 레포트 - 빅데이터의 특징과 장단점 및 합리적인 활용방안에 대해 기술하시오.

I. 서론

온라인 서점에서 한 번 검색한 책과 비슷한 책이 며칠 동안 계속 추천 목록에 뜬 적이 있다. 편해서 몇 권을 더 살펴봤지만, 어느 순간에는 내가 고른 취향보다 시스템이 보여 주는 범위 안에서만 고르고 있다는 느낌도 들었다. 빅데이터는 멀리 있는 기술처럼 들리지만 검색 기록, 교통카드 이용, 영상 시청, 위치정보, 온라인 구매처럼 일상에서 생기는 흔적을 모아 판단에 쓰는 방식과 연결돼 있다. 많은 데이터를 모으면 더 정확해질 것이라는 기대가 크지만 데이터가 많다는 사실만으로 판단이 좋아지는 것은 아니다. 빅데이터의 강점은 규모와 속도, 다양성을 함께 다룰 수 있다는 데 있고, 위험은 같은 특성 때문에 오류와 침해도 큰 범위로 번질 수 있다는 데 있다.

II. 본론

1) 크기보다 흐름과 종류가 문제인 데이터

빅데이터의 대표적인 특징은 흔히 3V로 설명한다. Volume은 처리해야 할 데이터 양이 매우 크다는 뜻이고, Velocity는 데이터가 빠르게 생기고 처리된다는 뜻이며, Variety는 표 형태의 정형자료뿐 아니라 문장, 사진, 영상, 음성, 센서 기록처럼 서로 다른 형식이 함께 들어온다는 뜻이다. 최근에는 데이터의 신뢰성을 뜻하는 Veracity와 실제 쓸 가치를 뜻하는 Value를 더해 5V로 설명하기도 한다. 중요한 점은 숫자가 3개인지 5개인지 외우는 데 있지 않다. 예전 방식으로는 한꺼번에 다루기 어려운 규모와 속도, 형식의 문제를 분석 체계 전체가 감당해야 한다는 점이 핵심이다.

규모가 커지면 작은 표본에서 놓치던 패턴을 찾을 수 있다. 대중교통 이용 기록을 장기간 모으면 특정 시간대와 구간에 승객이 몰리는 흐름을 더 세밀하게 볼 수 있고, 온라인 서비스에서는 많은 이용자의 행동을 바탕으로 개인별 추천을 만들 수 있다. 의료 분야에서도 여러 검사와 진료 기록을 분석해 질병 위험을 예측하거나 자원 배분을 개선하는 연구가 가능하다. 데이터가 넓어질수록 드문 사건을 관찰할 기회도 늘어난다. 전통적인 설문조사만으로 잡기 어려운 실시간 변화가 기록된다는 점도 장점이다.

속도는 빅데이터 활용의 성격을 바꾼다. 어제까지의 자료를 몇 달 뒤 보고서로 만드는 것과 지금 들어오는 신호를 바로 처리하는 것은 다른 문제다. 실시간 교통정보, 이상거래 탐지, 온라인 추천은 데이터가 생성되는 동안 분석 결과를 내야 가치가 생긴다. 빠른 처리가 가능하면 상황 변화에 대응하기 쉬워지지만, 검토 시간을 줄여 오류가 그대로 반영될 위험도 커진다. 속도가 빠른 시스템일수록 자동 판단을 어디까지 허용할지 기준을 미리 정해야 한다.

다양성은 활용 범위를 넓히는 동시에 정리 비용을 높인다. 같은 사람에 관한 정보라도 구매내역은 숫자와 항목으로 잘 정리돼 있지만 상담 기록은 문장이고, 사진은 이미지이며, 웨어러블 기기는 시간마다 다른 측정값을 만든다. 형식이 다른 자료를 합치려면 기준을 맞추고 결측값과 오류를 다루는 과정이 필요하다. 데이터가 많아 보여도 특정 집단의 기록이 빠져 있거나 측정 방식이 자주 바뀌면 분석 결과가 흔들린다. 빅데이터는 "모두 기록된 데이터"가 아니라 "기록될 수 있었던 것들이 모인 데이터"라는 점을 기억해야 한다.

2) 잘 맞는 추천 뒤에 숨은 편향과 사생활 비용