사용자와 기업 모두 생성형 AI로 수집된 정보에 대해 1차적인 의심 필요
맨디언트, ‘생성형 AI 활용 사이버 공격 활동 관련 보고서’ 발표
[보안뉴스 김영명 기자] 최근 생성형 A(Generative AI) 도구들이 국내외에서 잇달아 나오면서 AI에 대한 위협 행위자들의 관심도 커지고 있다. 정보 조작 및 침투 활동 등 정보 작전을 수행하는 위협 행위자들은 AI를 활용해 만든 이미지나 동영상 같은 콘텐츠 사용을 늘리고 있다. 조작한 콘텐츠를 활용해 왜곡된 정보를 손쉽게 전달할 가능성이 크기 때문이다.
맨디언트(Mandiant)는 최근 ‘생성형 AI 활용 사이버 공격 활동’과 관련한 보고서를 발표했다. 맨디언트는 이러한 침투 작전에 AI를 활용하는 것은 주로 사회공학적 기법과 연계돼 있다고 분석했다. 이는 자원과 역량이 제한적인 위협 행위자들이 메타스플로잇 또는 코발트스트라이크 프레임워크를 이용해 공격을 더욱 강화해 나갈 가능성이 크다. 따라서 앞으로 위협 행위자들의 활동에 AI 도구가 사용될 가능성은 늘어날 것으로 보인다. 생성형 AI를 활용한 위협 행위자들의 사이버 공격 활동은 크게 △정보 작전에서 생성형 AI 활용 △정보 작전에 도입되는 생성형 AI 기술 △AI로 이미지 생성 △AI로 비디오 조작 △AI로 텍스트 생성 △AI로 오디오 생성 △소셜 엔지니어링 개선 등으로 분류할 수 있다.
첫 번째로, ‘정보 작전에서 생성형 AI 활용’에서 위협 행위자들이 생성형 AI를 활용하면 효율적으로 작전 범위를 넓히고, 가짜라고 의심하기 어려운 사실적인 콘텐츠를 생성할 수 있으며, 가짜라고 의심하기 어려운 사실적인 컨텐츠를 생성할 수 있다고 판단하고 있다.
생성형 AI는 특정 내러티브에 맞게 기사나 정치 만화 같은 콘텐츠를 생성하거나 가짜 페르소나 관련 영상, 이미지, 텍스트 같은 콘텐츠를 만들 수 있다. 또한, 대형언어모델(Large Language Model, 이하 LLM)을 기반으로 한 대화형 AI 챗봇은 언어 장벽을 제거하기 때문에 이를 이용해 외국어를 사용하는 청중까지 공격 대상으로 삼을 수 있다. 러시아의 핵티비스트 그룹인 사이버버쿠트(CyberBerkut)는 여러 조직의 비리를 폭로할 수 있는 내용을 담은 통화 녹음을 유출했다고 주장한 적이 있다. 실제로 개인 목소리로 학습한 AI 모델은 대중을 선동하는 콘텐츠나 가짜 공익 광고 등 오디오 조작을 하는 것이 가능하다.
두 번째로, ‘정보 작전에 도입되는 생성형 AI 기술’은 위협 행위자들이 이미지, 비디오, 텍스트, 오디오 등 다양한 유형의 콘텐츠를 공개적으로 사용할 수 있는 생성형 AI 도구로 만들 것으로 예상된다. 이른 시일 내에 생성형 AI로 만든 이미지와 비디오 사용이 늘 것이며, 앞으로 빠르게 정보 작전 운영 주체들이 도입할 것으로 보인다.
세 번째는, ‘AI로 이미지 생성’이다. 현재 이미지 생성 기술은 적대적 생성 신경망(Generative Adversarial Network, GAN)과 텍스트-이미지 변환 모델(Generative Text-to-Image Models)로 범주를 나눌 수 있다. GAN은 피사체의 사실적으로 얼굴을 클로즈업한 사진(head shot)을 만들 수 있으며, 텍스트-이미지 변환 모델은 프롬프트에 텍스트를 입력하는 방식으로 맞춤형 이미지를 생성한다.
맨디언트는 2019년 이후 러시아, 중국, 이란, 쿠바 등 특정 국가와 연계된 위협 행위자들과 미국의 이미지 게시판 웹 사이트인 4chan 포럼에서 활동하는 이들이 가짜 프로필 사진을 만들기 위해 GAN을 사용한 사례를 확인했다.
텍스트-이미지 변환 모델은 기술의 발전으로 앞으로 사용이 늘어날 것으로 예상된다. GAN은 주로 페르소나를 만드는 데 이용하지만, 텍스트-이미지 변환 모델은 다양한 내러티브와 이를 전파하기 위한 콘텐츠 제작에 더 광범위하게 사용할 수 있다. 텍스트-이미지 변환 모델로 만든 콘텐츠는 수작업 방식의 탐지와 AI 기반 탐지 모델 모두에서 위협을 식별하기 어려울 수 있다. 따라서 텍스트-이미지 변환 모델은 GAN보다 더 심각한 위협이 될 수 있다.
올해 3월 드래곤브릿지(pro-RPC DRAGONBRIDGE)는 미국 정치 지도자들을 부정적으로 묘사하는 내러티브를 뒷받침하기 위해 AI로 만든 이미지를 활용했다. 5월에는 러시아 국영 매체인 RT와 블룸버그 미디어그룹 관련 계정으로 추정되는 @BloombergFeed 등의 트위터 계정에서 펜타곤 근처에서 폭발 사고가 일어났음을 보여주는 AI로 만든 가짜 이미지를 올리기도 했다.
네 번째는 ‘AI로 비디오 조작’이다. 현재 공개적으로 이용할 수 있는 동영상 생성 및 조작을 위한 AI 기술은 뉴스 형식의 콘텐츠를 만들기 위한 방송 템플릿 및 AI로 아바타 생성과 음성-텍스트를 변환하는 도구, 사람의 얼굴을 다른 모습으로 바꾸는 기능을 제공하는 AI 기반 동영상 조작 도구 등이 있다. 올해 5월 드래곤브릿지가 AI로 만든 짧은 뉴스 형식의 동영상을 사용한다는 것을 고객에게 알렸다. 이 동영상은 AI 회사인 D-ID에서 제공하는 플랫폼으로 만들었을 가능성이 크다. 올해 3월에는 우크라이나 블로디미르 젤렌스키 대통령의 딥페이크 동영상 등 다양한 수단으로 우크라이나가 항복했다는 조작된 메시지를 퍼뜨리기도 했다.
다섯 번째는 ‘AI로 텍스트 생성’이다. 공개된 LLM 기반 AI 도구가 등장하면서 위협 행위자들은 이 도구를 빠르게 도입해 활용할 것으로 짐작하고 있다. 올해 3월 드래곤브릿지 계정은 오픈AI(OpenAI)가 개발한 대화형 챗봇인 챗GPT가 한 사용자의 질문에 답한 것을 인용하며 중국과 미국에 이중 잣대를 적용하고 있다고 비난했다.
여섯 번째는 ‘AI로 오디오 생성’이다. 현재까지 AI로 생성한 오디오는 정보 작전에 거의 또는 전혀 사용되지 않았다. AI 오디오 생성 도구는 텍스트 음성 변환 모델, 음성 복제 및 사칭 같은 기능을 포함하고 있다. 일반적으로 AI 오디오 생성 기능은 AI 비디오 생성 도구의 핵심 기능 중 하나로 제공된다.
일곱 번째는 ‘소셜 엔지니어링 개선’이다. 먼저 정찰에서는 위협 행위자들이 AI 도구로 도난당한 데이터나 공개된 정보를 처리하고, 정찰하며 타깃을 정하기 위해 다양한 방법을 동원한다는 것을 강조했다. 위협 행위의 배후에 있는 특정 국가 정보국은 대량의 도난 데이터와 공개된 정보 분석에 머신러닝과 데이터 과학 도구를 사용해 데이터 처리와 분석을 개선할 수 있다. 이를 활용하면 개인을 식별하고, 사회공학 기법을 캠페인 활동에 적용하는 방식을 개선할 수 있다.
또한, 위협 행위자들은 LLM을 활용해 공격 대상이 사용하는 언어와 무관하게 매력적인 미끼 자료를 만들 수 있다. 이들은 공격 대상자의 특징을 반영한 음성이나 텍스트를 생성해 초기 침해 성공 확률을 높일 수 있는 자료를 만들 수 있다.
위협 행위자들은 멀웨어 개발에 LLM 사용을 늘려 갈 것으로 보고 있다. LLM은 공격자의 기술 수준이나 언어능력과 관계없이 새로운 멀웨어를 작성하고 기존 멀웨어를 강화하는 작업을 지원할 수 있다. 한 사용자는 특정 엔드포인트 탐지 및 대응(EDR) 솔루션을 우회하는 멀웨어를 만들어 LLM에 보안 기능을 우회할 수 있다고 주장하는 동영상을 올리고, 올해 2월 말에 이 동영상으로 버그 바운티 프로그램에 제출해 포상금을 받기도 했다.
맨디언트 관계자는 “위협 행위자들은 새로운 기술을 지속적으로 활용하고, 변화하는 사이버 위협 환경에 적응하며 전략을 개선하고 있다. 일반 대중이 진짜와 가짜를 구별하지 못하는 것을 노리는 악의적인 공격은 계속될 것이다. 사용자와 기업 모두 생성형 AI로 수집된 정보에 대한 주의가 필요하다. 공격자들이 생성형 AI에 관심을 두는 것은 명백하지만, 아직은 활용 폭이 제한적이며 당분간 이런 분위기가 이어질 것으로 보인다”고 밝혔다.
[김영명 기자(boan@boannews.com)]
맨디언트, ‘생성형 AI 활용 사이버 공격 활동 관련 보고서’ 발표
[보안뉴스 김영명 기자] 최근 생성형 A(Generative AI) 도구들이 국내외에서 잇달아 나오면서 AI에 대한 위협 행위자들의 관심도 커지고 있다. 정보 조작 및 침투 활동 등 정보 작전을 수행하는 위협 행위자들은 AI를 활용해 만든 이미지나 동영상 같은 콘텐츠 사용을 늘리고 있다. 조작한 콘텐츠를 활용해 왜곡된 정보를 손쉽게 전달할 가능성이 크기 때문이다.
[이미지=gettyimagesbank]
맨디언트(Mandiant)는 최근 ‘생성형 AI 활용 사이버 공격 활동’과 관련한 보고서를 발표했다. 맨디언트는 이러한 침투 작전에 AI를 활용하는 것은 주로 사회공학적 기법과 연계돼 있다고 분석했다. 이는 자원과 역량이 제한적인 위협 행위자들이 메타스플로잇 또는 코발트스트라이크 프레임워크를 이용해 공격을 더욱 강화해 나갈 가능성이 크다. 따라서 앞으로 위협 행위자들의 활동에 AI 도구가 사용될 가능성은 늘어날 것으로 보인다. 생성형 AI를 활용한 위협 행위자들의 사이버 공격 활동은 크게 △정보 작전에서 생성형 AI 활용 △정보 작전에 도입되는 생성형 AI 기술 △AI로 이미지 생성 △AI로 비디오 조작 △AI로 텍스트 생성 △AI로 오디오 생성 △소셜 엔지니어링 개선 등으로 분류할 수 있다.
첫 번째로, ‘정보 작전에서 생성형 AI 활용’에서 위협 행위자들이 생성형 AI를 활용하면 효율적으로 작전 범위를 넓히고, 가짜라고 의심하기 어려운 사실적인 콘텐츠를 생성할 수 있으며, 가짜라고 의심하기 어려운 사실적인 컨텐츠를 생성할 수 있다고 판단하고 있다.
생성형 AI는 특정 내러티브에 맞게 기사나 정치 만화 같은 콘텐츠를 생성하거나 가짜 페르소나 관련 영상, 이미지, 텍스트 같은 콘텐츠를 만들 수 있다. 또한, 대형언어모델(Large Language Model, 이하 LLM)을 기반으로 한 대화형 AI 챗봇은 언어 장벽을 제거하기 때문에 이를 이용해 외국어를 사용하는 청중까지 공격 대상으로 삼을 수 있다. 러시아의 핵티비스트 그룹인 사이버버쿠트(CyberBerkut)는 여러 조직의 비리를 폭로할 수 있는 내용을 담은 통화 녹음을 유출했다고 주장한 적이 있다. 실제로 개인 목소리로 학습한 AI 모델은 대중을 선동하는 콘텐츠나 가짜 공익 광고 등 오디오 조작을 하는 것이 가능하다.
▲다양한 미디어 유형을 활용하는 AI 지원 IO 툴킷[자료=맨디언트]
두 번째로, ‘정보 작전에 도입되는 생성형 AI 기술’은 위협 행위자들이 이미지, 비디오, 텍스트, 오디오 등 다양한 유형의 콘텐츠를 공개적으로 사용할 수 있는 생성형 AI 도구로 만들 것으로 예상된다. 이른 시일 내에 생성형 AI로 만든 이미지와 비디오 사용이 늘 것이며, 앞으로 빠르게 정보 작전 운영 주체들이 도입할 것으로 보인다.
세 번째는, ‘AI로 이미지 생성’이다. 현재 이미지 생성 기술은 적대적 생성 신경망(Generative Adversarial Network, GAN)과 텍스트-이미지 변환 모델(Generative Text-to-Image Models)로 범주를 나눌 수 있다. GAN은 피사체의 사실적으로 얼굴을 클로즈업한 사진(head shot)을 만들 수 있으며, 텍스트-이미지 변환 모델은 프롬프트에 텍스트를 입력하는 방식으로 맞춤형 이미지를 생성한다.
▲엘리엇 히긴스가 미드저니를 사용해 만든 AI 생성 이미지가 포함된 트윗, 드래곤브릿지가 올린 것으로 의심되는 트윗(좌부터)[자료=맨디언트]
맨디언트는 2019년 이후 러시아, 중국, 이란, 쿠바 등 특정 국가와 연계된 위협 행위자들과 미국의 이미지 게시판 웹 사이트인 4chan 포럼에서 활동하는 이들이 가짜 프로필 사진을 만들기 위해 GAN을 사용한 사례를 확인했다.
텍스트-이미지 변환 모델은 기술의 발전으로 앞으로 사용이 늘어날 것으로 예상된다. GAN은 주로 페르소나를 만드는 데 이용하지만, 텍스트-이미지 변환 모델은 다양한 내러티브와 이를 전파하기 위한 콘텐츠 제작에 더 광범위하게 사용할 수 있다. 텍스트-이미지 변환 모델로 만든 콘텐츠는 수작업 방식의 탐지와 AI 기반 탐지 모델 모두에서 위협을 식별하기 어려울 수 있다. 따라서 텍스트-이미지 변환 모델은 GAN보다 더 심각한 위협이 될 수 있다.
올해 3월 드래곤브릿지(pro-RPC DRAGONBRIDGE)는 미국 정치 지도자들을 부정적으로 묘사하는 내러티브를 뒷받침하기 위해 AI로 만든 이미지를 활용했다. 5월에는 러시아 국영 매체인 RT와 블룸버그 미디어그룹 관련 계정으로 추정되는 @BloombergFeed 등의 트위터 계정에서 펜타곤 근처에서 폭발 사고가 일어났음을 보여주는 AI로 만든 가짜 이미지를 올리기도 했다.
▲드래곤브릿지가 홍보하는 동영상의 스크린샷, AI가 생성한 뉴스 앵커가 방송을 진행하며, 앵커는 D-ID가 제공하는 플랫폼을 사용해 제작한 듯함[자료=맨디언트]
네 번째는 ‘AI로 비디오 조작’이다. 현재 공개적으로 이용할 수 있는 동영상 생성 및 조작을 위한 AI 기술은 뉴스 형식의 콘텐츠를 만들기 위한 방송 템플릿 및 AI로 아바타 생성과 음성-텍스트를 변환하는 도구, 사람의 얼굴을 다른 모습으로 바꾸는 기능을 제공하는 AI 기반 동영상 조작 도구 등이 있다. 올해 5월 드래곤브릿지가 AI로 만든 짧은 뉴스 형식의 동영상을 사용한다는 것을 고객에게 알렸다. 이 동영상은 AI 회사인 D-ID에서 제공하는 플랫폼으로 만들었을 가능성이 크다. 올해 3월에는 우크라이나 블로디미르 젤렌스키 대통령의 딥페이크 동영상 등 다양한 수단으로 우크라이나가 항복했다는 조작된 메시지를 퍼뜨리기도 했다.
다섯 번째는 ‘AI로 텍스트 생성’이다. 공개된 LLM 기반 AI 도구가 등장하면서 위협 행위자들은 이 도구를 빠르게 도입해 활용할 것으로 짐작하고 있다. 올해 3월 드래곤브릿지 계정은 오픈AI(OpenAI)가 개발한 대화형 챗봇인 챗GPT가 한 사용자의 질문에 답한 것을 인용하며 중국과 미국에 이중 잣대를 적용하고 있다고 비난했다.
▲우크라이나 젤렌스키 대통령이 지난해 3월 러시아에 항복한다고 발표하는 딥페이크 동영상의 스크린샷[자료=맨디언트]
여섯 번째는 ‘AI로 오디오 생성’이다. 현재까지 AI로 생성한 오디오는 정보 작전에 거의 또는 전혀 사용되지 않았다. AI 오디오 생성 도구는 텍스트 음성 변환 모델, 음성 복제 및 사칭 같은 기능을 포함하고 있다. 일반적으로 AI 오디오 생성 기능은 AI 비디오 생성 도구의 핵심 기능 중 하나로 제공된다.
일곱 번째는 ‘소셜 엔지니어링 개선’이다. 먼저 정찰에서는 위협 행위자들이 AI 도구로 도난당한 데이터나 공개된 정보를 처리하고, 정찰하며 타깃을 정하기 위해 다양한 방법을 동원한다는 것을 강조했다. 위협 행위의 배후에 있는 특정 국가 정보국은 대량의 도난 데이터와 공개된 정보 분석에 머신러닝과 데이터 과학 도구를 사용해 데이터 처리와 분석을 개선할 수 있다. 이를 활용하면 개인을 식별하고, 사회공학 기법을 캠페인 활동에 적용하는 방식을 개선할 수 있다.
또한, 위협 행위자들은 LLM을 활용해 공격 대상이 사용하는 언어와 무관하게 매력적인 미끼 자료를 만들 수 있다. 이들은 공격 대상자의 특징을 반영한 음성이나 텍스트를 생성해 초기 침해 성공 확률을 높일 수 있는 자료를 만들 수 있다.
▲타깃의 이전 트윗을 기반으로 미끼 컨텐츠를 생성한 2016년 AI가 생성한 트윗[자료=블랙햇]
위협 행위자들은 멀웨어 개발에 LLM 사용을 늘려 갈 것으로 보고 있다. LLM은 공격자의 기술 수준이나 언어능력과 관계없이 새로운 멀웨어를 작성하고 기존 멀웨어를 강화하는 작업을 지원할 수 있다. 한 사용자는 특정 엔드포인트 탐지 및 대응(EDR) 솔루션을 우회하는 멀웨어를 만들어 LLM에 보안 기능을 우회할 수 있다고 주장하는 동영상을 올리고, 올해 2월 말에 이 동영상으로 버그 바운티 프로그램에 제출해 포상금을 받기도 했다.
맨디언트 관계자는 “위협 행위자들은 새로운 기술을 지속적으로 활용하고, 변화하는 사이버 위협 환경에 적응하며 전략을 개선하고 있다. 일반 대중이 진짜와 가짜를 구별하지 못하는 것을 노리는 악의적인 공격은 계속될 것이다. 사용자와 기업 모두 생성형 AI로 수집된 정보에 대한 주의가 필요하다. 공격자들이 생성형 AI에 관심을 두는 것은 명백하지만, 아직은 활용 폭이 제한적이며 당분간 이런 분위기가 이어질 것으로 보인다”고 밝혔다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-05-04] 
