인공지능을 범죄에 악용하려는 시도가 이어지고 있다. 누구는 정상 인공지능을 탈옥시키려 하고, 누구는 오픈소스를 자기 것으로 만들려 하고, 일부는 아예 자신이 직접 모델을 만들어 훈련시키려 한다. 어느 것이 됐든 가까운 미래에 심각한 위협으로 다가올 것은 뻔한 일이다.
[보안뉴스 문가용 기자] 사이버 공격자들도 대형 언어 모델이라는 신기술을 두고 여러 가지 고민을 하고 있다. 알고리즘 개발자들이 심어놓은 ‘안전선’을 어떻게 해서든 빠져나가려는 것이 첫 번째 고민거리이고, 자신들이 직접 개발한 모델을 효과적으로 훈련시키는 것이 두 번째 고민거리이며, 오픈소스 인공지능 모델을 악의적으로 활용하는 방법을 고안하는 것이 세 번째 고민거리이다.
지난 달 어둔 세계의 개발자들은 첫 번째 인공지능 범죄 서비스를 런칭한 것으로 보인다. 이름은 다크제미나이(Dark Gemini)로, 일반 대형 언어 모델들이 가지고 있는 제한을 깰 수 있는 명령 프롬프트를 제공해주는 것으로 보인다. 실제로 인공지능을 개발한 것은 아니라 보안 업계가 크게 주목하고 있지는 않다. 하지만 기업들이 힘들게 개발해놓은 기술을 손쉽게 악용하는 방법이 등장하기 시작했다는 것만으로도 충분히 경각심을 가질 만한 소식이다.
악용하느냐, 만드느냐, 그것이 문제로다
다크제미나이는 정상적인 ‘양지의 인공지능’을 악용하려는 움직임의 일례다. 하지만 인공지능과 관련된 위협은 이것 말고도 더 있다. 지난 2월에는 MS로부터 경고가 나왔는데, 정부의 지원을 받는 해커들이 MS와 오픈AI의 인공지능 기술을 활용해 자신들의 공격 행위를 보다 효율적으로 가다듬고 있다는 내용이었다. 새로운 뭔가를 개발한 건 아니지만, 자신들이 잘 하고 있는 것을 훨씬 더 강력하게 업그레이드 하려는 것이라고 정리가 가능하다. 이번 달 초에는 보안 업체 히든레이어(HiddenLayer)가 구글 제미나이에 심겨진 보호 장치가 얼마나 우회하기 쉬운지 알리며 경고하기도 했다.
보안 업체 사이버식스길(Cybersixgill)의 보안 연구원 도브 러너(Dov Lerner)는 “그렇다고 현재의 보호 장치들이 무용하다는 건 아니”라고 강조한다. “그 보호 장치들이 있기 때문에 아직까지 인공지능 프롬프트 몇 번으로 멀웨어를 만드는 건 불가능에 가깝죠. 일부 연구자들이 성공했다는 주장을 하고 있고, 실제로 그럴 수도 있지만, 그렇더라도 매우 희귀한 사례이고 다크웹에서도 아직까지 프롬프트를 통해 멀웨어 제작에 성공할 수 있다는 소문이 돌고 있지 않습니다. 공격자들이 멀웨어를 인공지능으로 만들 수 있게 되면 지금의 때가 평화의 시대로 기억될 정도로 혼란스러울 겁니다.”
공격자들이 인공지능 모델을 스스로 개발하는 경우들도 존재한다. 이미 여러 보안 매체들을 통해 언급됐지만 다크웹에서는 그 동안 사기GPT(FraudGPT)라든가 웜GPT(WormGPT), 다크바트(DarkBART)와 같은 모델들이 등장했었다. 다크웹이 아니더라도 여러 가지 실험이나 공유의 목적으로 안전 장치 없는 인공지능 모델들이 각종 리포지터리들에 공유되는 사례들도 있다. 대표적으로 라마2(Llama2)가 이런 사례에 속한다. 이 경우 공격자들이 처음부터 악의적 목적으로 인공지능 모델을 개발하거나 훈련시키는 게 가능하다.
보안 업체 레코디드퓨처(Recorded Future)의 위협 분석가 딜런 데이비스(Dylan Davis)는 “다크웹에서 나온 범죄형 인공지능 모델들이 아직까지 뚜렷하게 뭔가를 보여준 적은 없다”면서도 “어쩌면 가장 큰 잠재력을 가지고 있는 위협일지도 모른다”고 경고한다. “이런 시도들이 정식으로 자리를 잡고, 기술력이 충분히 확보된 후라면 무시무시한 공격들이 실행될 수 있을 거라고 봅니다. 게다가 사이버 범죄 시장이 이미 산업화 되어 있다는 것도 큰 문제입니다. 악성 인공지능 모델이 개발되기만 하면 산업화 구조 덕분에 빠르게 보편화될 수 있기 때문입니다.”
인공지능, 어떻게 막아야 하나
정상 인공지능을 악용하는 방법을 찾든지, 처음부터 악성인 인공지능을 개발하는 데 성공하든지 어찌됐든 사이버 범죄자들 사이에서도 인공지능이 화두라는 것을 알 수 있다. 데이비스는 “역사적으로 공격자들이 고민하는 것이라면 어느 시점이 됐든 반드시 이뤄져왔다”며 “인공지능 기술을 동원한 공격이 보편화될 것을 상정하고 방어를 준비해야 한다”고 경고한다. 그러기 위해서는 현존하는 인공지능 안전 장치들을 강화하고 우회하기 어렵게 만드는 것부터 해야 한다는 게 그의 의견이다. “공격자들이 주로 어떤 식으로 프롬프트 안전 장치를 우회하려 하는지를 파악한다면 안전 장치 강화에 도움이 될 것입니다.”
일견 쉬워 보이는 접근법이나 그렇지만은 않다는 게 데이비스의 설명이다. “안전 장치가 많으면 많을수록 인공지능 모델의 사용성은 떨어질 수밖에 없습니다. 그러면 그 인공지능 모델을 찾는 사람들이 줄어들겠죠. 개발자들은 이런 상황을 원치 않을 겁니다. 사용성과 안전성 사이에 미묘한 균형점을 찾는 게 관건이라는 건데, 이게 말처럼 쉽지 않다는 건 우리 모두 익히 알고 있죠.”
스스로 악성 인공지능을 개발하려는 시도의 경우, 방어자가 미리 손을 쓴다는 건 불가능하다. 러너는 “공격자들의 현황을 최대한 빨리 파악하여 그보다 더 발전된 방어 기술을 개발하는 것이 유일한 답”이라고 말한다. “즉 본격적인 ‘군비 경주’를 시작해야 한다는 겁니다. 그들의 발전상에 대한 첩보를 수집하고, 그것에 기반하여 우리의 기술을 더 발전시키는 노력들이 꾸준히 있어야 하지, 한 번에 상황을 우리에게 유리한 것으로 바꿀 방법은 없을 겁니다.”
3줄 요약
1. 다크웹에서도 인공지능이 화두.
2. 인공지능을 범죄에 이용하려는 방법들이 다양하게 모색되는 중.
3. 이미 누가 더 강력한 인공지능을 만드나 시합은 시작되었음.
[국제부 문가용 기자(globoan@boannews.com)]
[보안뉴스 문가용 기자] 사이버 공격자들도 대형 언어 모델이라는 신기술을 두고 여러 가지 고민을 하고 있다. 알고리즘 개발자들이 심어놓은 ‘안전선’을 어떻게 해서든 빠져나가려는 것이 첫 번째 고민거리이고, 자신들이 직접 개발한 모델을 효과적으로 훈련시키는 것이 두 번째 고민거리이며, 오픈소스 인공지능 모델을 악의적으로 활용하는 방법을 고안하는 것이 세 번째 고민거리이다.
[이미지 = gettyimagesbank]
지난 달 어둔 세계의 개발자들은 첫 번째 인공지능 범죄 서비스를 런칭한 것으로 보인다. 이름은 다크제미나이(Dark Gemini)로, 일반 대형 언어 모델들이 가지고 있는 제한을 깰 수 있는 명령 프롬프트를 제공해주는 것으로 보인다. 실제로 인공지능을 개발한 것은 아니라 보안 업계가 크게 주목하고 있지는 않다. 하지만 기업들이 힘들게 개발해놓은 기술을 손쉽게 악용하는 방법이 등장하기 시작했다는 것만으로도 충분히 경각심을 가질 만한 소식이다.
악용하느냐, 만드느냐, 그것이 문제로다
다크제미나이는 정상적인 ‘양지의 인공지능’을 악용하려는 움직임의 일례다. 하지만 인공지능과 관련된 위협은 이것 말고도 더 있다. 지난 2월에는 MS로부터 경고가 나왔는데, 정부의 지원을 받는 해커들이 MS와 오픈AI의 인공지능 기술을 활용해 자신들의 공격 행위를 보다 효율적으로 가다듬고 있다는 내용이었다. 새로운 뭔가를 개발한 건 아니지만, 자신들이 잘 하고 있는 것을 훨씬 더 강력하게 업그레이드 하려는 것이라고 정리가 가능하다. 이번 달 초에는 보안 업체 히든레이어(HiddenLayer)가 구글 제미나이에 심겨진 보호 장치가 얼마나 우회하기 쉬운지 알리며 경고하기도 했다.
보안 업체 사이버식스길(Cybersixgill)의 보안 연구원 도브 러너(Dov Lerner)는 “그렇다고 현재의 보호 장치들이 무용하다는 건 아니”라고 강조한다. “그 보호 장치들이 있기 때문에 아직까지 인공지능 프롬프트 몇 번으로 멀웨어를 만드는 건 불가능에 가깝죠. 일부 연구자들이 성공했다는 주장을 하고 있고, 실제로 그럴 수도 있지만, 그렇더라도 매우 희귀한 사례이고 다크웹에서도 아직까지 프롬프트를 통해 멀웨어 제작에 성공할 수 있다는 소문이 돌고 있지 않습니다. 공격자들이 멀웨어를 인공지능으로 만들 수 있게 되면 지금의 때가 평화의 시대로 기억될 정도로 혼란스러울 겁니다.”
공격자들이 인공지능 모델을 스스로 개발하는 경우들도 존재한다. 이미 여러 보안 매체들을 통해 언급됐지만 다크웹에서는 그 동안 사기GPT(FraudGPT)라든가 웜GPT(WormGPT), 다크바트(DarkBART)와 같은 모델들이 등장했었다. 다크웹이 아니더라도 여러 가지 실험이나 공유의 목적으로 안전 장치 없는 인공지능 모델들이 각종 리포지터리들에 공유되는 사례들도 있다. 대표적으로 라마2(Llama2)가 이런 사례에 속한다. 이 경우 공격자들이 처음부터 악의적 목적으로 인공지능 모델을 개발하거나 훈련시키는 게 가능하다.
보안 업체 레코디드퓨처(Recorded Future)의 위협 분석가 딜런 데이비스(Dylan Davis)는 “다크웹에서 나온 범죄형 인공지능 모델들이 아직까지 뚜렷하게 뭔가를 보여준 적은 없다”면서도 “어쩌면 가장 큰 잠재력을 가지고 있는 위협일지도 모른다”고 경고한다. “이런 시도들이 정식으로 자리를 잡고, 기술력이 충분히 확보된 후라면 무시무시한 공격들이 실행될 수 있을 거라고 봅니다. 게다가 사이버 범죄 시장이 이미 산업화 되어 있다는 것도 큰 문제입니다. 악성 인공지능 모델이 개발되기만 하면 산업화 구조 덕분에 빠르게 보편화될 수 있기 때문입니다.”
인공지능, 어떻게 막아야 하나
정상 인공지능을 악용하는 방법을 찾든지, 처음부터 악성인 인공지능을 개발하는 데 성공하든지 어찌됐든 사이버 범죄자들 사이에서도 인공지능이 화두라는 것을 알 수 있다. 데이비스는 “역사적으로 공격자들이 고민하는 것이라면 어느 시점이 됐든 반드시 이뤄져왔다”며 “인공지능 기술을 동원한 공격이 보편화될 것을 상정하고 방어를 준비해야 한다”고 경고한다. 그러기 위해서는 현존하는 인공지능 안전 장치들을 강화하고 우회하기 어렵게 만드는 것부터 해야 한다는 게 그의 의견이다. “공격자들이 주로 어떤 식으로 프롬프트 안전 장치를 우회하려 하는지를 파악한다면 안전 장치 강화에 도움이 될 것입니다.”
일견 쉬워 보이는 접근법이나 그렇지만은 않다는 게 데이비스의 설명이다. “안전 장치가 많으면 많을수록 인공지능 모델의 사용성은 떨어질 수밖에 없습니다. 그러면 그 인공지능 모델을 찾는 사람들이 줄어들겠죠. 개발자들은 이런 상황을 원치 않을 겁니다. 사용성과 안전성 사이에 미묘한 균형점을 찾는 게 관건이라는 건데, 이게 말처럼 쉽지 않다는 건 우리 모두 익히 알고 있죠.”
스스로 악성 인공지능을 개발하려는 시도의 경우, 방어자가 미리 손을 쓴다는 건 불가능하다. 러너는 “공격자들의 현황을 최대한 빨리 파악하여 그보다 더 발전된 방어 기술을 개발하는 것이 유일한 답”이라고 말한다. “즉 본격적인 ‘군비 경주’를 시작해야 한다는 겁니다. 그들의 발전상에 대한 첩보를 수집하고, 그것에 기반하여 우리의 기술을 더 발전시키는 노력들이 꾸준히 있어야 하지, 한 번에 상황을 우리에게 유리한 것으로 바꿀 방법은 없을 겁니다.”
3줄 요약
1. 다크웹에서도 인공지능이 화두.
2. 인공지능을 범죄에 이용하려는 방법들이 다양하게 모색되는 중.
3. 이미 누가 더 강력한 인공지능을 만드나 시합은 시작되었음.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-04-29] 
.jpg)
