빅데이터를 가공하자, 데이터 마이닝
빅데이터를 가공하자, 데이터 마이닝
  • 김태선 충북 특수교육원 과장 물리교육학 박사
  • 승인 2019.11.20 17:21
  • 댓글 0
이 기사를 공유합니다

선생님이 들려주는 과학이야기
김태선 충북 특수교육원 과장 물리교육학 박사
김태선 충북 특수교육원 과장 물리교육학 박사

 

얼마 전 동문회 밴드를 열었더니 재미있는 자료가 실려 있었다.

스탠포드 의대의 필립 하츠 박사가 “이 세상 70억 인구를 같은 비율로 줄여서 100명으로 본다면…”이라는 글이다. 답이 무척 궁금해지는 주제이다.

이 글에 따르면 70억 인구를 100명으로 줄이면 아시아인이 57명, 유럽인이 21명, 아메리카인이 14명 그리고 아프리카인이 8명이란다. 이 70억 인구를 다시 100명으로 줄여 남녀로 구분한다면, 남자가 52명, 여자가 48명이었으며 주택 소유자로 구분하면 20명만 집이 있고 80명은 집이 없단다.

문맹률로 보면 70명이 문맹이고 대학교육을 받은 사람은 100명 중 단 1명에 해당한다고 한다.

재미있는 정보이다. 70억명을 100명으로 줄이는 순간 이 지구의 인구는 아시아인이 선두를 달리고 남자보다는 여자가 적은 편이며, 집이 없는 사람들이 상당히 많구나! 하고 생각할 수 있게 되면서 70억이라는 인구가 분석 가능한 수치로 보이기 시작한다.

이러한 정보는 70억명의 정보 자료인 빅 데이터를 가공하여 일정한 패턴을 찾아내고 의미화시키는 데이터 마이닝(Data Mining)의 효과이다. 데이터 마이닝은 `대량의 자료 집합으로부터 유용한 정보를 추출하는 것'을 의미한다. 즉 의미있는 새로운 상관관계나 패턴, 경향 등을 발견하는 과정이다.

미국의 전자상거래 업체인 아마존은 데이터 마이닝을 통해 고객이 구입한 책의 목록으로 고객의 취향과 관심을 분석하여 관련된 분야의 책이 나올 때마다 정보를 안내하는 방식으로 대기업으로 성장한 업체이다.

몇 년 전 서울시는 심야시간대 유동인구가 많은 것을 고려하여 데이터 마이닝을 통해 심야택시 승·하차 데이터와 요일별·시간대별 승객의 분포 등을 분석하여 야간에만 운행하는 올빼미버스 노선을 운영하여 큰 호평을 받았다.

아마존이 미래예측 배달 시스템을 특허 출원했다. 아마존은 이를 `Yesterday Shipping(어제 배달)' 시스템이라고 부르는데 고객이 내일 주문할 것을 예상하고 오늘 물건을 배달한다는 것이다. 즉, 과거의 구매기록과 여러 가지 요소들을 분석하여 고객이 다음에는 무엇을 살 것인지 미리 예측하고 고객이 주문할 물건을 고객 근처 물류창고에 미리 보관해놓거나 트럭에 실은 채로 준비하고 있겠다는 것이다. 즉 고객이 기다릴 필요가 없도록 미리 물건을 배달하겠다는 혁신적인 아이디어가 들어 있는 것이며, 이를 뒷받침해줄 수 있는 핵심 기술이 바로 데이터 마이닝이다.

필자는 아침마다 뉴스쇼를 들으며 출근하는데 뉴스쇼에서 맛깔스런 재미를 주는 코너는 `행간'이다.

각종 방대한 사건과 상황 속에서 시청자들이 놓치는 요소들을 톡톡 쳐주는 재미가 사이다이다. 목적이 이끄는 삶을 살고자 하는 내게도 빅데이터를 가공한 데이터 마이닝이 필요한 시기라는 생각을 다시 한 번 해본다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.