.jpg)
AI와 XAI 기반, 온라인 불법 도박 사이트 탐지 및 OSINT 정보 수집 시스템 개발
Gambler Tracker, 일일 약 270개 도박/유해사이트 URL(정보) 수집하는 성과 거둬
[보안뉴스 원병철 기자] 카이스트 사이버보안연구센터(차상길 센터장, 이하 CSRC)가 AI와 XAI 기반의 온라인 불법 도박 사이트 탐지 및 OSINT 정보 수집 시스템(Gamble Tracker) 개발을 완료하고 시범 운영에 성공했다.
ICT 기술의 발전과 스마트폰의 보급으로 각종 서비스가 온라인화 되고 있다. 문제는 여러 유해매체 및 서비스도 온라인을 통해 보급이 확산된다는 점이다. 각종 불법사이트는 상호간의 홍보수단이 됨에 따라 공생관계를 가지고 있으며, 특히 청소년이 주로 이용하는 불법 웹툰 사이트 내 도박 사이트의 광고 비중은 73.3%를 차지할 정도로 상호간의 복잡한 관계를 보여주고 있다.
방송통신심의위원회를 비롯한 각종 사정기관의 차단과 수사의 노력에도 불구하고 URL을 변경하거나 새로운 웹서비스를 개설하는 방식을 통해 지속적으로 회피하거나 확장되어 운영하고 있다.
이에 카이스트 CSRC는 온라인 불법 도박 사이트를 선제적으로 탐지하고 관련 정보를 분석해 유통 네트워크를 분석함으로써 차단과 수사에 도움을 줄 뿐만 아니라, 상호 공생관계의 유통망을 식별해 운영자를 비롯한 연관된 모든 요인을 탐지할 수 있는 연구개발에 나섰다.
카이스트 CSRC 이경석 선임연구원이 이끄는 연구팀이 개발한 ‘Gamble Tracker’는 다음과 같은 기능을 갖췄다.
△URL 수집 불법 도박 사이트와 각종 유해사이트의 공생관계인 특징을 토대로 각종 유해사이트를 대상으로 지속적으로 접근하여 URL을 수집할 수 있는 고속 크롤러 개발
△OSINT 수집 수집된 URL의 IP, 국가정보, ISP 업체 정보, 웹서버 생존유무, http 헤더 정보를 수집
△콘텐츠 수집 수집된 URL이 도박 사이트인지 판별하기 위해 직접 웹사이트에 접속하여 HTML을 비롯한 각종 콘텐츠 수집 필요. Selenium 기반의 리얼 브라우저 제어 기술을 통해 메인페이지뿐만 아니라 회원가입 페이지 탐색 및 접근하여 웹콘텐츠 수집
△웹사이트 분류 수집된 콘텐츠에 텍스트를 추출하고 토큰화시키는 전처리 과정을 거쳐 웹사이트 분류를 위한 데이터 생성한 후, XGBoost 기반의 웹사이트 분류를 통하여 도박/유해/정상으로 분류(정확도 96%이상)
△분류 결과 분석 및 활용 XAI 기술을 토대로 분류 결과에 대한 해석 수행하여 웹사이트 분류에 영향을 끼친 특징(키워드)을 탐색하고 영향을 끼친 정도에 따라 이해하기 쉽도록 도식화하여 표현분류 결과에 따라 유해사이트 판단된 사이트는 재차 감시대상으로 선정되어 URL 수집을 위한 Seed로 사용되며, 점차 시스템 확장
이러한 기능을 바탕으로 ‘Gambler Tracker’는 일일 약 270개 도박/유해사이트 URL(정보)을 수집하는 성과를 거뒀다.
카이스트 CSRC는 이러한 Gambler Tracker의 기능을 고도화할 계획이다. 우선, 불법 도박 사이트 정보 분석을 통한 유통 네트워크 식별 및 지도를 생성하고, 이후 유사도 기반 웹사이트 분석을 통해 HTML 구조, 이미지, 텍스트, Script 등 웹사이트에서 사용되는 콘텐츠를 토대로 유사도를 산출할 계획이다. 또한, OSINT 정보 기반 그룹핑을 위한 각 사이트별 OSINT 정보 기반 유사성 판단 및 운영자 추적, 연결망 분석은 물론, 웹사이트 유사도 기반 연결망 도식화를 위해 유사 특징 기반 연결 노드 생성 및 유사도 수치(거리) 기반 군집화를 통한 지도를 생성할 계획이다. 이와 함께 불법 사이트 탐지 및 분류 카테고리를 확장해 도박 사이트 외에도 웹툰, 성인, 마약 등 감시 및 추적 대상을 확대할 계획이다.
[원병철 기자(boanone@boannews.com)]
Gambler Tracker, 일일 약 270개 도박/유해사이트 URL(정보) 수집하는 성과 거둬
[보안뉴스 원병철 기자] 카이스트 사이버보안연구센터(차상길 센터장, 이하 CSRC)가 AI와 XAI 기반의 온라인 불법 도박 사이트 탐지 및 OSINT 정보 수집 시스템(Gamble Tracker) 개발을 완료하고 시범 운영에 성공했다.
▲Gamble Tracker[이미지=카이스트 CSRC]
ICT 기술의 발전과 스마트폰의 보급으로 각종 서비스가 온라인화 되고 있다. 문제는 여러 유해매체 및 서비스도 온라인을 통해 보급이 확산된다는 점이다. 각종 불법사이트는 상호간의 홍보수단이 됨에 따라 공생관계를 가지고 있으며, 특히 청소년이 주로 이용하는 불법 웹툰 사이트 내 도박 사이트의 광고 비중은 73.3%를 차지할 정도로 상호간의 복잡한 관계를 보여주고 있다.
방송통신심의위원회를 비롯한 각종 사정기관의 차단과 수사의 노력에도 불구하고 URL을 변경하거나 새로운 웹서비스를 개설하는 방식을 통해 지속적으로 회피하거나 확장되어 운영하고 있다.
이에 카이스트 CSRC는 온라인 불법 도박 사이트를 선제적으로 탐지하고 관련 정보를 분석해 유통 네트워크를 분석함으로써 차단과 수사에 도움을 줄 뿐만 아니라, 상호 공생관계의 유통망을 식별해 운영자를 비롯한 연관된 모든 요인을 탐지할 수 있는 연구개발에 나섰다.
카이스트 CSRC 이경석 선임연구원이 이끄는 연구팀이 개발한 ‘Gamble Tracker’는 다음과 같은 기능을 갖췄다.
△URL 수집 불법 도박 사이트와 각종 유해사이트의 공생관계인 특징을 토대로 각종 유해사이트를 대상으로 지속적으로 접근하여 URL을 수집할 수 있는 고속 크롤러 개발
△OSINT 수집 수집된 URL의 IP, 국가정보, ISP 업체 정보, 웹서버 생존유무, http 헤더 정보를 수집
△콘텐츠 수집 수집된 URL이 도박 사이트인지 판별하기 위해 직접 웹사이트에 접속하여 HTML을 비롯한 각종 콘텐츠 수집 필요. Selenium 기반의 리얼 브라우저 제어 기술을 통해 메인페이지뿐만 아니라 회원가입 페이지 탐색 및 접근하여 웹콘텐츠 수집
△웹사이트 분류 수집된 콘텐츠에 텍스트를 추출하고 토큰화시키는 전처리 과정을 거쳐 웹사이트 분류를 위한 데이터 생성한 후, XGBoost 기반의 웹사이트 분류를 통하여 도박/유해/정상으로 분류(정확도 96%이상)
△분류 결과 분석 및 활용 XAI 기술을 토대로 분류 결과에 대한 해석 수행하여 웹사이트 분류에 영향을 끼친 특징(키워드)을 탐색하고 영향을 끼친 정도에 따라 이해하기 쉽도록 도식화하여 표현분류 결과에 따라 유해사이트 판단된 사이트는 재차 감시대상으로 선정되어 URL 수집을 위한 Seed로 사용되며, 점차 시스템 확장
이러한 기능을 바탕으로 ‘Gambler Tracker’는 일일 약 270개 도박/유해사이트 URL(정보)을 수집하는 성과를 거뒀다.
카이스트 CSRC는 이러한 Gambler Tracker의 기능을 고도화할 계획이다. 우선, 불법 도박 사이트 정보 분석을 통한 유통 네트워크 식별 및 지도를 생성하고, 이후 유사도 기반 웹사이트 분석을 통해 HTML 구조, 이미지, 텍스트, Script 등 웹사이트에서 사용되는 콘텐츠를 토대로 유사도를 산출할 계획이다. 또한, OSINT 정보 기반 그룹핑을 위한 각 사이트별 OSINT 정보 기반 유사성 판단 및 운영자 추적, 연결망 분석은 물론, 웹사이트 유사도 기반 연결망 도식화를 위해 유사 특징 기반 연결 노드 생성 및 유사도 수치(거리) 기반 군집화를 통한 지도를 생성할 계획이다. 이와 함께 불법 사이트 탐지 및 분류 카테고리를 확장해 도박 사이트 외에도 웹툰, 성인, 마약 등 감시 및 추적 대상을 확대할 계획이다.
[원병철 기자(boanone@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
원병철기자 기사보기
[2024-04-24] _m.jpg)
.jpg)
