빅데이터의 이해 레포트 - SNS와 디지털 기술의 발달로 빅데이터 시대가 도래한 배경을 설명하고, 데이터 학습을 통한

I. 서론

휴대전화로 사진을 찍어 SNS에 올리면 화면에는 사진 한 장만 나타난다. 서비스 안쪽에서는 촬영시각, 위치정보 사용 여부, 해시태그, 좋아요, 댓글, 조회, 머문 시간 같은 여러 흔적이 함께 생길 수 있다. 음악을 듣고 영상을 넘기고 온라인 쇼핑에서 상품을 비교하는 행동도 기록이 된다. 예전에는 설문지를 나눠 주거나 장부를 작성해야 모을 수 있었던 정보가 디지털 생활 속에서 계속 생성되는 환경이 만들어졌다. 빅데이터 시대의 출발점은 거대한 서버보다 평범한 일상이 데이터로 바뀐 데 있다고 생각한다.

SNS와 스마트기기의 보급은 사람이 직접 생산하는 글과 사진의 양을 크게 늘렸고, 센서와 온라인 서비스는 사람이 의식하지 않는 동안에도 행동기록을 남긴다. 저장장치 가격 하락, 클라우드와 분산처리 기술, 빠른 통신망이 쌓인 자료를 보관하고 분석할 수 있게 했다. 데이터가 많아지자 사람이 규칙을 일일이 작성하는 방식만으로 다루기 어려운 문제도 늘었고, 데이터에서 패턴을 학습하는 인공지능이 빠르게 발전할 토대가 생겼다. 알파고는 데이터 학습과 자기대국이 어떻게 성능 향상으로 이어질 수 있는지 보여준 대표 사례다.

II. 본론

1) 게시물 한 번이 데이터가 되는 일상과 빅데이터의 등장

빅데이터를 단지 "아주 큰 데이터"라고만 이해하면 변화의 절반만 잡게 된다. 데이터 양이 커진 것은 맞지만 생성 속도와 형태도 크게 달라졌다. SNS에는 글, 사진, 영상, 댓글, 반응 같은 서로 다른 형식의 데이터가 실시간에 가깝게 쌓인다. 쇼핑몰에는 검색어, 클릭, 구매, 반품이 기록되고 교통서비스에는 위치와 이동시간이 들어온다. 정형화된 표뿐 아니라 이미지와 문장처럼 구조가 일정하지 않은 자료도 분석 대상이 되었다.

SNS는 데이터 생산자를 기관에서 개인으로 넓혔다. 과거 언론 기사나 통계조사가 사회 흐름을 파악하는 주요 자료였다면 지금은 수많은 이용자가 직접 남긴 게시물과 반응을 분석할 수 있다. 오익근, 이태숙, 전채만의 연구는 웹페이지, 블로그, 뉴스에서 관광 관련 데이터를 수집해 한국관광에 관한 인식을 분석했다. 사람들의 표현이 대규모로 축적되면서 설문조사와 다른 방식으로 관심 주제와 연관어를 볼 수 있게 된 사례다.

디지털 서비스는 사람이 의도적으로 작성한 내용 외에도 행동데이터를 만든다. 같은 영상이라도 재생했는지 바로 넘겼는지, 어디까지 봤는지, 다시 찾았는지가 기록될 수 있다. 한 사람의 기록은 작은 흔적이지만 이용자가 많고 시간이 길어지면 엄청난 규모가 된다. 이런 데이터는 추천시스템, 광고, 서비스 개선, 수요예측에 쓰일 수 있다. 개인정보와 사생활 위험도 함께 커지는 이유가 바로 기록의 세밀함 때문이다.

스마트폰은 빅데이터 확산을 생활 속으로 밀어 넣은 핵심 기기다. 전화와 문자만 하던 기기와 달리 카메라, GPS, 가속도 센서, 인터넷 접속, 각종 앱이 한 장치에 모였다. 사람은 이동하면서도 데이터를 만들고 소비한다. 데스크톱 컴퓨터 앞에 앉아 있을 때만 온라인 기록이 생기던 시기와 다르다. 이동, 결제, 소통, 여가가 하나의 기기와 연결되면서 데이터 생성의 시간과 장소가 크게 넓어졌다.