Home > 전체기사
패턴 마이닝 기술로 빅데이터 1,000배 빠르게 분석
  |  입력 : 2018-05-30 13:16
페이스북 보내기 트위터 보내기 네이버 밴드 보내기 카카오 스토리 보내기
DGIST 김민수 교수팀, 빅데이터 패턴 초고속 분석하는 GPU 기반 ‘GMiner’ 기술 개발

[보안뉴스 박미영 기자] DGIST는 정보통신융합전공 김민수 교수팀이 빅데이터 패턴을 초고속으로 분석할 수 있는 ‘지마이너(GMiner)’ 기술을 개발했다고 지난 28일 밝혔다. 지마이너 기술은 기존의 세계 최고 패턴 마이닝 기술보다 최대 1,000배 더 우수한 성능을 나타냈다.

패턴 마이닝 기술은 대형 마트의 상품 구매, 은행의 거래, 네트워크 패킷, 소셜 네트워크 등 다양한 분야의 빅데이터에서 반복적으로 나타나는 중요 패턴들을 모두 찾아내는 기술이다. 이 기술을 활용해 대형 마트 진열대의 상품 위치를 결정하고, 연령별 소비자의 이용 패턴에 맞는 신용카드를 추천하는 등 산업 분야에서 광범위하게 사용되고 있다.

점차 증가하는 패턴 마이닝의 중요성으로 지난 20여년간 수천가지의 패턴 마이닝 기술들이 개발됐지만, 빅데이터 패턴의 길이가 증가함에 따라 분석 가능한 패턴의 가짓수가 기하급수적으로 증가해 수십기가바이트(GB)가 넘는 빅데이터에 대해서는 컴퓨터 메모리 부족으로 분석에 실패하거나 시간이 너무 많이 소요돼 사용하는데 한계가 있었다.

기존의 패턴 마이닝 기술들은 중간 길이의 패턴들을 구한 후 메모리에 저장해두고, 중간 길이보다 더 긴 패턴을 구할 때 저장해 둔 중간 길이의 패턴과 대조해 최종 패턴을 찾는 방식을 활용했다.

하지만 김민수 교수팀이 개발한 지마이너 기술은 GPU(그래픽처리장치)의 수천개 코어를 사용해 임시로 계산한 중간 길이의 패턴들을 조합하고, 최종 길이의 패턴을 구하는 반(反)직관적인 기법을 제안함으로써 기존 기술들의 문제를 근본적으로 해결하는데 성공했다.

지마이너 기술은 기하급수적 개수의 중간 길이 패턴들을 메모리에 전혀 저장하지 않음으로써 기존 기술들이 고질적으로 가졌던 메모리 부족 문제를 완전히 해결했다. 아울러 데이터를 메인 메모리에서 GPU로 스트리밍하는 것과 동시에 GPU의 높은 계산 성능을 이용해 패턴을 구함으로써 느린 속도 문제도 해결했다.

지마이너 기술은 GPU 한 개가 장착된 일반 가정용 컴퓨터 1대 만으로 최대 수십대의 컴퓨터를 사용해 데이터를 분석했던 기존의 분산 및 병렬 기술들보다 작게는 10배에서 최대 1,000배 빠른 분석 성능을 나타냈으며 기존 기술들이 분석 가능했던 데이터보다 더 큰 규모의 빅데이터를 분석할 수 있다. 또한 GPU 개수와 비례해 성능이 향상되는 우수한 확장 성능을 나타낸다.

DGIST 정보통신융합전공 김민수 교수는 “다양한 산업 분야에서 축적되고 있는 빅데이터에 대해 메모리 문제없이 초고속으로 빅데이터 패턴을 분석할 수 있는 원천 기술을 확보했다”며, “메모리 부족과 느린 속도 때문에 패턴 마이닝 기술을 빅데이터에 제대로 적용하지 못했던 문제를 해결함으로써 금융, 유통, IT, 바이오 등 여러 분야의 빅데이터 패턴을 분석해 기업의 효율적인 의사결정을 돕는데 활용할 수 있을 것”이라고 말했다.

이번 연구 결과는 정보과학 분야 최고 권위의 국제학술지인 ‘인포메이션 사이언스(Information Sciences) 5월호’에 게재됐으며, DGIST 정보통신융합전공 전강욱 박사과정 학생이 제1저자로 참여했다.
[박미영 기자(mypark@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>

  •  
  • 0
  • 페이스북 보내기 트위터 보내기 네이버 밴드 보내기 카카오 스토리 보내기


  •  SNS에서도 보안뉴스를 받아보세요!! 
IBM 파워비즈 배너 2019년2월8일~2020년2월7일까지/7월25일 수정모니터랩 파워비즈 5월 31일까지파워비즈배너 시작 11월6일 20181105-20200131
설문조사
최근 디지털 도어록이 등록되지 않은 스마트워치로 무방비로 열리는 취약점이 발견돼 이슈가 되고 있는데요. 현재 귀하의 집에 설치된 디지털 도어록의 경우 비밀번호와 함께 주로 사용하고 있는 개폐 수단은 무엇인가요?
생체인식
카드키
교통카드(티머니)
스마트워치
스마트폰
기타(댓글로)
      

이노뎁
VMS

인콘
통합관제 / 소방방재

현대틸스
팬틸트 / 카메라

파나소닉코리아
Sevurity Camera / CCTV

시큐인포
CCTV / NVR

한화테크윈
CCTV 카메라 / 영상감시

Videotec
PTZ 카메라

대명코퍼레이션
DVR / IP카메라

티제이원
영상 보안 / 출입 통제

하이크비전 코리아
CCTV / IP / NVR

원우이엔지
줌카메라

쿠도커뮤니케이션
스마트 관제 솔루션

다후아 코리아
CCTV / DVR

씨앤비텍
통합보안솔루션

지케이테코
출입통제 / 얼굴인식

아이디스
DVR / IP / VMS

한국하니웰
CCTV / DVR

이화트론
DVR / IP / CCTV

경인씨엔에스
CCTV / 자동복구장치

테크스피어
손혈관 / 차량하부 검색기

씨게이트
보안감시전용 드라이브

슈프리마
출입통제 / 얼굴인식

한국씨텍
PTZ CCTV

아이티엑스엠투엠
DVR / NVR / IP CAMERA

링크플로우
이동형 CCTV 솔루션

엔토스정보통신
DVR / NVR / CCTV

트루엔
IP 카메라

다민정보산업
기업형 스토리지

비전정보통신
IP카메라 / VMS / 폴

씨오피코리아
CCTV 영상 전송장비

씨엠아이텍
근태관리 소프트웨어 / 홍채 스케너

디비시스
CCTV토탈솔루션

테크어헤드
얼굴인식 소프트웨어

에스카
CCTV / 영상개선

옵티언스
IR 투광기

옵텍스코리아
실내 실외 센서

구네보코리아
보안게이트

엑사비스
사이보 보안 CCTV

화이트박스로보틱스
CCTV / 카메라

신우테크
팬틸드 / 하우징

네이즈

케이제이테크
지문 / 얼굴 출입 통제기

혜인에스앤에스
통합보안시스템

셀링스시스템
IP 카메라 / 비디오 서버

사라다
지능형 객체 인식 시스템

일산정밀
CCTV / 부품 / 윈도우

수퍼락
출입통제 시스템

아이엔아이
울타리 침입 감지 시스템

이노뎁
VMS

파이브지티
얼굴인식 시스템

새눈
CCTV 상태관리 솔루션

파이브지티
얼굴인식 시스템

케이티앤씨
CCTV / 모듈 / 도어락

다원테크
CCTV / POLE / 브라켓

티에스아이솔루션
출입 통제 솔루션

엘림광통신
광전송링크

퍼시픽솔루션
IP 카메라 / DVR

금성보안
CCTV / 출입통제 / NVR

지와이네트웍스
CCTV 영상분석

이후커뮤니케이션
CCTV / DVR

지에스티엔지니어링
게이트 / 스피드게이트

넷플로우
IP인터폰 / 방송시스템

아이유플러스
레이더 / 카메라

DK솔루션
메트릭스 / 망전송시스템

두레옵트로닉스
카메라 렌즈

에프에스네트웍스
스피드 돔 카메라

엔클라우드
VMS / 스위치

KPN
안티버그 카메라

싸이닉스
스피드 돔 카메라

대산시큐리티
CCTV 폴 / 함체 / 랙

포커스에이치앤에스
지능형 / 카메라

휴컴스
PTZ 카메라 / 줌카메라

창우
폴대

유진시스템코리아
팬틸트 / 하우징

브이유텍
플랫폼 기반 통합 NVR

글로넥스
카드리더 / 데드볼트

카티스
출입통제 / 외곽경비

세환엠에스
시큐리티 게이트

화인박스
콘트롤박스 / 배전향