빅데이터의 이해 레포트 - 빅데이터의 개념 및 최근 활용 사례를 제시하고 그 의의를 서술하시오.

I. 서론

학교 앞 버스정류장에서 전광판을 보면 몇 분 뒤 버스가 오는지 바로 알 수 있다. 지도 앱은 막히는 길을 피해 경로를 바꾸고, 배달앱은 주문이 몰리는 시간대를 예측한다. 이용자는 화면에 나온 숫자만 보지만 뒤에서는 위치 기록, 교통 속도, 기상, 결제와 검색 같은 많은 데이터가 계속 쌓이고 섞인다. 빅데이터라는 말이 유행한 지 오래돼 이제는 큰 엑셀 파일 정도로 오해하기 쉽다. 핵심은 크기 하나가 아니라 기존 방식으로 처리하기 어려울 만큼 데이터의 양과 속도, 형태가 커지고 그 안에서 의사결정에 쓸 패턴을 찾아내는 데 있다. 최근 공공정책과 보건의료 사례를 보면 빅데이터의 가치는 데이터를 많이 모으는 행위보다 실제 문제를 더 세밀하게 정의하는 과정에서 드러난다.

II. 본론

1) 큰 파일이 아니라 계속 쌓이고 섞이는 데이터

빅데이터를 설명할 때 흔히 규모, 속도, 다양성이라는 3V를 쓴다. 규모는 저장해야 할 데이터가 매우 많다는 뜻이고, 속도는 데이터가 빠르게 만들어지고 갱신된다는 뜻이다. 다양성은 표처럼 정리된 숫자뿐 아니라 문자, 사진, 영상, 위치 신호, 센서 기록처럼 형식이 다른 자료가 함께 들어온다는 의미다. 여기에 정확성과 가치까지 더해 5V로 설명하기도 한다. 기준이 몇 개인지보다 중요한 것은 데이터가 크다고 자동으로 빅데이터가 되는 것이 아니라는 점이다. 모은 자료가 부정확하거나 문제와 상관없으면 저장공간만 차지한다.

빅데이터 분석은 수집 뒤의 정리 과정이 특히 중요하다. 서로 다른 기관의 데이터는 주소 표기, 시간 단위, 분류 기준이 다를 수 있다. 같은 지역을 가리키는데 행정동 코드가 다르거나 결측값이 많으면 바로 합칠 수 없다. 중복을 제거하고 기준을 맞추며 개인을 식별할 수 있는 정보를 처리해야 분석 가능한 자료가 된다. 수업 실습에서 공개 교통자료를 다룰 때도 그래프를 그리는 시간보다 날짜 형식을 맞추고 누락값을 확인하는 시간이 더 길었다. 화려한 알고리즘보다 데이터 품질이 결과를 좌우한다는 말을 그때 실감했다.

분석 결과를 해석하는 단계에서도 주의가 필요하다. 두 변수의 움직임이 함께 나타났다고 해서 한쪽이 다른 쪽의 원인이라고 바로 말할 수 없다. 특정 지역에서 사고 신고가 많다면 실제 사고 위험이 높을 수도 있지만 신고가 잘 되는 지역일 가능성도 있다. 휴대전화 위치 데이터는 기기를 가진 사람의 이동을 잘 담지만 어린이나 기기 사용이 적은 사람을 덜 반영할 수 있다. 데이터가 많아질수록 편향이 사라진다고 기대하기 쉽지만 큰 데이터도 만들어진 과정의 편향을 그대로 품는다. 그래서 분석가는 어떤 사람이 기록에서 빠졌는지까지 봐야 한다.

빅데이터의 가치는 예측 정확도만으로 평가하기 어렵다. 공공기관에서 분석을 한다면 결과를 실제 정책으로 옮길 수 있는지가 중요하다. 위험지역을 찾아도 예산과 법적 권한이 없으면 시설을 설치할 수 없고, 의료 데이터를 분석해 고위험군을 찾아도 환자가 필요한 서비스를 받을 경로가 없으면 의미가 약하다. 데이터 분석은 의사결정을 돕는 도구이지 결정을 대신하는 자동장치가 아니다. 목적과 책임 주체가 분명해야 한다.

2) 서울의 교통·안전 정책에서 빅데이터가 쓰이는 방식