빅데이터의 이해 레포트 - 빅데이터 시대를 통계학적 관점에서 어떻게 해석할 수 있는지 서술하시오.

I. 서론

온라인 쇼핑몰에서 운동화를 한 번 검색했더니 며칠 동안 비슷한 광고가 따라온 적이 있다. 내가 남긴 클릭 몇 번이 데이터가 되고, 그 데이터가 다시 내 화면을 바꾼다는 사실이 새삼 묘했다. 빅데이터라는 말을 들으면 엄청난 저장 용량과 인공지능부터 떠오르지만 통계학 수업을 듣고 나니 다른 질문이 생겼다. 데이터가 많으면 정말 더 정확한가, 수백만 건의 기록이 있으면 표본조사는 필요 없어지는가, 숫자가 보여 주는 패턴을 원인이라고 불러도 되는가 하는 질문이다. 통계학의 눈으로 보면 빅데이터 시대의 핵심은 데이터 크기 자체보다 어떤 과정으로 자료가 생겼고 누구의 기록이 빠졌으며 관찰된 관계를 어디까지 일반화할 수 있는지 따지는 데 있다. 데이터가 커질수록 계산은 정교해지지만 잘못된 수집 과정도 더 크게 확대될 수 있다.

II. 본론

1) 데이터가 많아져도 사라지지 않는 표본의 문제

통계학에서 자료를 볼 때 가장 앞서 확인할 것은 관측치 수가 아니라 모집단과 표본의 관계다. 전통적인 표본조사는 조사하려는 대상을 정하고, 그 대상에서 표본을 뽑아 응답을 얻은 뒤 모집단의 특성을 추정한다. 빅데이터는 이런 순서로 만들어지지 않는 경우가 많다. 카드 결제 기록은 결제를 한 사람만 남고, 소셜미디어 자료는 글을 쓴 사람만 남으며, 통신 위치 자료는 특정 통신 서비스를 이용한 사람의 흔적이 쌓인다. 수천만 건이 모여도 애초에 빠진 사람이 누구인지 알지 못하면 전체 국민의 행동으로 넓혀 말하기 어렵다.

통계청의 빅데이터 활용 안내도 같은 문제를 분명히 적고 있다. 빅데이터는 빠르게 사회와 경제의 변화를 알려 줄 수 있지만 모집단을 특정하기 어렵고 자료 수집의 안정성과 정제 비용 문제 때문에 공식통계 수준의 정확성과 신뢰성을 확보하기 어려울 수 있다고 설명한다. 국가통계연구원의 김혜란 연구도 소셜미디어 자료에서 연령, 지역, 성별 대표성이 확보되지 않을 수 있고 소셜미디어를 사용하지 않는 사람을 포함하지 못하므로 모집단 대표성이 약해질 수 있다고 지적한다. 여기서 중요한 말은 "많다"와 "대표한다"가 같은 뜻이 아니라는 점이다.

수업 시간에 이 문제를 체감한 적이 있다. 팀 과제로 대학생의 아침 식사 습관을 간단히 조사했는데 단체 채팅방에 설문 링크를 올려 응답을 받았다. 하루 만에 응답이 꽤 모여서 처음에는 표본이 충분하다고 생각했다. 응답자를 확인해 보니 우리 학과 학생이 대부분이었고, 그중에서도 단체 채팅을 자주 보는 사람의 참여가 많았다. 아침 수업이 없는 학생과 통학 시간이 긴 학생의 비율도 실제 학교 전체와 다를 가능성이 컸다. 응답 수가 더 늘어도 같은 경로로 받는다면 편향이 줄지 않는다는 사실을 알게 됐다. 빅데이터도 규모가 훨씬 클 뿐 비슷한 문제를 가질 수 있다.