.jpg)
구글 위협정보그룹·딥마인드, 생성형 AI 해킹 위협 분석
국가 지원 해커, 사이버 범죄자 모두 AI 활용 늘어나… 공격자들에 실질적 생산성 도구로 자리잡아
[보안뉴스 한세희 기자] 인공지능(AI) 모델의 사고 과정을 알아내기 위한 사이버 공격이 포착됐다.
13일 구글 위협정보그룹(GTIG)이 발표한 ‘AI 위협 추적 보고서’(AI Threat Tracker)에 따르면, GTIG와 구글 딥마인드는 자사 생성형 AI ‘제미나이’를 겨냥한 모델 추출 공격을 시도하는 위협 행위자를 확인했다.
모델 추출 또는 증류 공격이란 AI 모델에 접근해 모델 훈련에 쓰인 정보를 알아내려는 활동으로, AI 모델 개발에 관한 지적재산권 침해 행위가 될 수 있다. 이러한 공격은 AI 모델의 기본 추론 및 사고 과정을 알아내기 위해 수행됐으며, 주로 AI 모델의 독점적 논리를 복제하려는 글로벌 민간 기업 및 학술 연구자들에 의해 발생했다고 GTIG은 밝혔다. 특히 제미나이의 추론 능력이 주요 표적이 됐다는 설명이다.
또 GTIG는 중국·러시아 등 국가의 지원을 받는 사이버 공격 그룹이 위협 행위 전반에 걸쳐 AI 도입을 확대하고 있다고 진단했다.
이란 정부의 지원을 받는 APT42 그룹은 표적 맞춤형 사회공학 기법을 강화하기 위해 AI 모델을 활용했다.
북한 정부의 지원을 받는 해커 그룹 UNC2970은 오픈소스 인텔리전스(OSINT)를 종합하고 가치가 큰 표적을 물색하는 등 공격 계획 수립과 정찰 활동에 제미나이를 활요했다. 이 그룹은 채용 담당자를 사칭해 방위 산업체에 대한 집중 공격을 수행해 왔다.
멀웨어 제품군에 새로운 기능을 추가하기 위해 AI를 실험하는 사례도 지속적으로 나타났다. ‘HONESTCUE’라는 멀웨어가 제미나이 API를 호출해 공격 코드 생성을 아웃소싱하고 기존 네트워크 기반 탐지 및 정적 분석을 우회한 사례가 대표적이다.
AI 기능을 악용해 피싱 키트를 만들어 사이버 공격 침투의 효율을 높인 사례도 있었다. 암호화폐 거래소로 위장해 사용자 자격 증명을 탈취하는 피싱 키트 ‘COINBAIT’는 AI 코드 생성 도구를 이용해 제작 속도를 앞당긴 것으로 추정된다.
또 구글이 영어권 및 러시아어권 다크웹 등 사이버 범죄 커뮤니티를 관찰한 결과, 위협 행위자들이 완성도 높은 AI 모델에 의존하는 경향도 지속되는 것으로 나타났다. 독자적으로 맞춤형 모델을 직접 개발하기 어려워 나타난 현상이라는 분석이다.
최근 공격자들의 API 키 탈취 및 도용이 급증하는 것은 이러한 현상을 시사한다고 보고서는 분석했다. ‘잔소록스’(Xanthorox)라는 사이버 범죄 AI 모델은 다크웹 등에서 멀웨어 코드 자동 생성과 피싱 공격을 위해 맞춤 제작됐다고 홍보하고 있으나, 실제론 기존 기업의 상용 AI 제품을 기반으로 작동하는 것으로 나타났다.
[한세희 기자(boan@boannews.com)]
국가 지원 해커, 사이버 범죄자 모두 AI 활용 늘어나… 공격자들에 실질적 생산성 도구로 자리잡아
[보안뉴스 한세희 기자] 인공지능(AI) 모델의 사고 과정을 알아내기 위한 사이버 공격이 포착됐다.
13일 구글 위협정보그룹(GTIG)이 발표한 ‘AI 위협 추적 보고서’(AI Threat Tracker)에 따르면, GTIG와 구글 딥마인드는 자사 생성형 AI ‘제미나이’를 겨냥한 모델 추출 공격을 시도하는 위협 행위자를 확인했다.
▲모델 추출 공격 개념도 [출처: 구글클라우드]
모델 추출 또는 증류 공격이란 AI 모델에 접근해 모델 훈련에 쓰인 정보를 알아내려는 활동으로, AI 모델 개발에 관한 지적재산권 침해 행위가 될 수 있다. 이러한 공격은 AI 모델의 기본 추론 및 사고 과정을 알아내기 위해 수행됐으며, 주로 AI 모델의 독점적 논리를 복제하려는 글로벌 민간 기업 및 학술 연구자들에 의해 발생했다고 GTIG은 밝혔다. 특히 제미나이의 추론 능력이 주요 표적이 됐다는 설명이다.
또 GTIG는 중국·러시아 등 국가의 지원을 받는 사이버 공격 그룹이 위협 행위 전반에 걸쳐 AI 도입을 확대하고 있다고 진단했다.
이란 정부의 지원을 받는 APT42 그룹은 표적 맞춤형 사회공학 기법을 강화하기 위해 AI 모델을 활용했다.
북한 정부의 지원을 받는 해커 그룹 UNC2970은 오픈소스 인텔리전스(OSINT)를 종합하고 가치가 큰 표적을 물색하는 등 공격 계획 수립과 정찰 활동에 제미나이를 활요했다. 이 그룹은 채용 담당자를 사칭해 방위 산업체에 대한 집중 공격을 수행해 왔다.
멀웨어 제품군에 새로운 기능을 추가하기 위해 AI를 실험하는 사례도 지속적으로 나타났다. ‘HONESTCUE’라는 멀웨어가 제미나이 API를 호출해 공격 코드 생성을 아웃소싱하고 기존 네트워크 기반 탐지 및 정적 분석을 우회한 사례가 대표적이다.
AI 기능을 악용해 피싱 키트를 만들어 사이버 공격 침투의 효율을 높인 사례도 있었다. 암호화폐 거래소로 위장해 사용자 자격 증명을 탈취하는 피싱 키트 ‘COINBAIT’는 AI 코드 생성 도구를 이용해 제작 속도를 앞당긴 것으로 추정된다.
또 구글이 영어권 및 러시아어권 다크웹 등 사이버 범죄 커뮤니티를 관찰한 결과, 위협 행위자들이 완성도 높은 AI 모델에 의존하는 경향도 지속되는 것으로 나타났다. 독자적으로 맞춤형 모델을 직접 개발하기 어려워 나타난 현상이라는 분석이다.
최근 공격자들의 API 키 탈취 및 도용이 급증하는 것은 이러한 현상을 시사한다고 보고서는 분석했다. ‘잔소록스’(Xanthorox)라는 사이버 범죄 AI 모델은 다크웹 등에서 멀웨어 코드 자동 생성과 피싱 공격을 위해 맞춤 제작됐다고 홍보하고 있으나, 실제론 기존 기업의 상용 AI 제품을 기반으로 작동하는 것으로 나타났다.
[한세희 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
한세희기자 기사보기
.gif)
.jpg)
.png)
