캐너디언킹핀12라는 해커가 다크웹에 나타나 인공지능 기반 공격 도구를 만들었다고 홍보하기 시작했다. 그런데 이름이 한국의 보안 업체가 만든 인공지능 모델인 똑같다. 어찌된 영문일까.
[보안뉴스 문가용 기자] 얼마 전 캐너디언킹핀12(CanadianKingpin12)라는 한 인터넷 사용자가 다크버트(DarkBERT)라는 이름의 ‘악성’ 인공지능 대형 언어 모델(LLM)을 다크웹에 선보였다. 공교롭게도 이 다크버트는 한국의 보안 기업 S2W와 카이스트가 공동으로 개발한 다크웹 전용 인공지능 언어 모델인 다크버트와 이름이 완전히 똑같다.
S2W와 카이스트의 다크버트는 다크웹에서 추출한 정보를 학습하여 방어력과 대응력을 높여주는 기능을 가진 인공지능 언어 모델로, 위협에 대한 방어를 목적으로 만들어졌다. 캐너디언킹핀12의 다크버트는 인공지능을 바탕으로 사이버 공격을 보다 쉽고 그럴 듯하게 만들어주는 도구로, 위협을 목적으로 만들어졌다. 같은 이름이지만 완전히 반대되는 성격의 제품이라고 할 수 있다.
그렇다면 캐너디언킹핀12는 왜 하필 이 다크버트라는 이름을 철자 하나까지 그대로 가져다 썼을까? 먼저는 S2W의 다크버트가 침해되었다는 잘못된 인식을 심어주기 위한 것으로 보인다. 실제로 그는 ‘초대’를 기반으로 사용자 베이스를 확보하고 있는(즉 일반 대중들에게 열려 있지 않은) S2W의 다크버트에 대한 접근 권한을 가지고 있다고 주장하기도 했다.
S2W는 “여러 가지 정황상 캐너디언킹핀12가 거짓말을 하고 있는 것으로 보인다”는 입장을 본지에 밝혔다. 그 이유에 대하여 S2W는 다음과 같이 설명한다.
“다크버트를 지난 5월 공개한 후 접속 권한 요청을 다수 받고 있습니다. 하지만 저희는 ACL의 윤리적 가이드라인에 따라 요청들을 신중하게 검토했고 15건 이상 거절 의사를 밝혔습니다. 현재까지 승인한 것이 총 10건이니 거절된 요청들이 더 많습니다. 승인된 10건은 연구와 조사를 목적으로 한 대학 기관이나 수사 기관들로부터 온 것이었습니다.” 캐너디언킹핀12가 대학이나 수사 기관을 절묘하게 사칭한 게 아닌 이상 접근 권한을 가져갔을 리 없다는 뜻이다.
그렇다면 S2W에 침투하는 등의 방법으로 다크버트에 접근했을 수는 없었을까? “그랬을 수도 있겠지만 이번에 공개된 저희의 다크버트는 개인 식별 정보를 전부 제거하고 난 후의 데이터를 학습한 모델이기 때문에 BEC 캠페인 등 악의적인 목적 달성을 위해 활용되기가 힘듭니다. 다크웹에 홍보하여 판매할 성격의 도구가 애초부터 아니라는 겁니다.”
설명이 보다 자세하게 이어진다. “다크버트의 경우 언어의 컨텍스트를 파악하는 모델입니다. 특정 문서가 취약점 정보인지, 멀웨어를 제작하는 데 활용될 수 있는 정보인지, 정보의 중요도가 어느 정도인지 등을 판별할 수는 있습니다만, 그런 문서 자체를 생성할 수는 없습니다. 공격 도구로서는 제한적일 수밖에 없도록 설계되었고, 그렇기에 저희 모델을 훔쳐갔다고 해서 공격 도구로서 활용될 가능성은 극히 낮습니다.”
그러면서 S2W는 “캐너디언킹핀12가 주장하는 방식 그대로 다크버트가 범죄에 활용될 수 있으려면 대형 언어 모델에 방대한 다크웹 데이터를 주입한 후 정교한 후작업을 이어가야 한다”고 말한다. “그렇게 나온 결과물이 뛰어난 전문가나 학자가 아니라 다크웹의 일반 사용자들에게도 쓸모가 있으려면 다크버트를 상당히 오랜 시간 만지고 다듬었어야 합니다. 지난 5월에 처음 학술지에 공개된 다크버트가 불과 2~3개월만에 그렇게 변모할 수는 없습니다. 기술적으로 불가능하다고 봅니다.”
S2W의 다크버트는 등장 즉시 세계 보안 업계의 관심을 받았고, 지금도 그러하다. 유명 IT 및 보안 전문지들에서 다크버트의 등장을 보도했고, 소셜미디어 플랫폼에서도 다크버트(S2W)의 관심이 높은 것으로 조사되고 있다. 그래서 S2W는 “캐너디언킹핀12가 다크버트의 인기와 관심에 편승해 보고자 하는 것”으로 추측하고 있다. 한 마디로 “노이즈 마케팅” 그 이상은 아니라는 것이다.
실제로 유명 브랜드나 제품의 이름을 차용해 공격을 실시하는 것은 사이버 공격자들의 오래된 전략이다. MS, 구글, 어도비, 아마존 등은 매년 “가장 많이 도용 혹은 악용되는 브랜드”로 꼽히며, 순위 경쟁이 치열하다. 캐너디언킹핀12도 이러한 전략의 일환으로 다크버트의 이름을 가져갔을 가능성이 충분하다. 다크버트를 본뜸으로써 캐너디언킹핀12는 ‘인공지능’, ‘다크웹’, ‘언어 모델’ 등과 같은 인기 테마들도 같이 가져간 효과를 누릴 수 있다.
“마지막으로 강조하고 싶은 것이 있습니다. S2W의 다크버트는 주요 식별 정보들을 다 마스킹한 정보만을 습득한다는 겁니다. 그러므로 어떤 경우에도 개인정보 유출에 대한 우려가 없습니다. 이미 ACL 논문 투고 과정에서 공포한 엄격한 심사 기준이고, S2W의 다크버트는 이런 높은 기준을 공식적으로 통과했습니다.”
3줄 요약
1. S2W가 세계에 선보인 다크웹 인공지능 모델, 다크버트.
2. 갑자기 다크웹에 출현한 한 사용자, 인공지능 공격 도구 만들었다고 공개했는데 이름이 다크버트.
3. S2W가 조사했을 때 ‘노이즈 마케팅’일 가능성이 큼.
[국제부 문가용 기자(globoan@boannews.com)]
[보안뉴스 문가용 기자] 얼마 전 캐너디언킹핀12(CanadianKingpin12)라는 한 인터넷 사용자가 다크버트(DarkBERT)라는 이름의 ‘악성’ 인공지능 대형 언어 모델(LLM)을 다크웹에 선보였다. 공교롭게도 이 다크버트는 한국의 보안 기업 S2W와 카이스트가 공동으로 개발한 다크웹 전용 인공지능 언어 모델인 다크버트와 이름이 완전히 똑같다.
[이미지 = gettyimagesbank]
S2W와 카이스트의 다크버트는 다크웹에서 추출한 정보를 학습하여 방어력과 대응력을 높여주는 기능을 가진 인공지능 언어 모델로, 위협에 대한 방어를 목적으로 만들어졌다. 캐너디언킹핀12의 다크버트는 인공지능을 바탕으로 사이버 공격을 보다 쉽고 그럴 듯하게 만들어주는 도구로, 위협을 목적으로 만들어졌다. 같은 이름이지만 완전히 반대되는 성격의 제품이라고 할 수 있다.
그렇다면 캐너디언킹핀12는 왜 하필 이 다크버트라는 이름을 철자 하나까지 그대로 가져다 썼을까? 먼저는 S2W의 다크버트가 침해되었다는 잘못된 인식을 심어주기 위한 것으로 보인다. 실제로 그는 ‘초대’를 기반으로 사용자 베이스를 확보하고 있는(즉 일반 대중들에게 열려 있지 않은) S2W의 다크버트에 대한 접근 권한을 가지고 있다고 주장하기도 했다.
S2W는 “여러 가지 정황상 캐너디언킹핀12가 거짓말을 하고 있는 것으로 보인다”는 입장을 본지에 밝혔다. 그 이유에 대하여 S2W는 다음과 같이 설명한다.
“다크버트를 지난 5월 공개한 후 접속 권한 요청을 다수 받고 있습니다. 하지만 저희는 ACL의 윤리적 가이드라인에 따라 요청들을 신중하게 검토했고 15건 이상 거절 의사를 밝혔습니다. 현재까지 승인한 것이 총 10건이니 거절된 요청들이 더 많습니다. 승인된 10건은 연구와 조사를 목적으로 한 대학 기관이나 수사 기관들로부터 온 것이었습니다.” 캐너디언킹핀12가 대학이나 수사 기관을 절묘하게 사칭한 게 아닌 이상 접근 권한을 가져갔을 리 없다는 뜻이다.
그렇다면 S2W에 침투하는 등의 방법으로 다크버트에 접근했을 수는 없었을까? “그랬을 수도 있겠지만 이번에 공개된 저희의 다크버트는 개인 식별 정보를 전부 제거하고 난 후의 데이터를 학습한 모델이기 때문에 BEC 캠페인 등 악의적인 목적 달성을 위해 활용되기가 힘듭니다. 다크웹에 홍보하여 판매할 성격의 도구가 애초부터 아니라는 겁니다.”
설명이 보다 자세하게 이어진다. “다크버트의 경우 언어의 컨텍스트를 파악하는 모델입니다. 특정 문서가 취약점 정보인지, 멀웨어를 제작하는 데 활용될 수 있는 정보인지, 정보의 중요도가 어느 정도인지 등을 판별할 수는 있습니다만, 그런 문서 자체를 생성할 수는 없습니다. 공격 도구로서는 제한적일 수밖에 없도록 설계되었고, 그렇기에 저희 모델을 훔쳐갔다고 해서 공격 도구로서 활용될 가능성은 극히 낮습니다.”
그러면서 S2W는 “캐너디언킹핀12가 주장하는 방식 그대로 다크버트가 범죄에 활용될 수 있으려면 대형 언어 모델에 방대한 다크웹 데이터를 주입한 후 정교한 후작업을 이어가야 한다”고 말한다. “그렇게 나온 결과물이 뛰어난 전문가나 학자가 아니라 다크웹의 일반 사용자들에게도 쓸모가 있으려면 다크버트를 상당히 오랜 시간 만지고 다듬었어야 합니다. 지난 5월에 처음 학술지에 공개된 다크버트가 불과 2~3개월만에 그렇게 변모할 수는 없습니다. 기술적으로 불가능하다고 봅니다.”
S2W의 다크버트는 등장 즉시 세계 보안 업계의 관심을 받았고, 지금도 그러하다. 유명 IT 및 보안 전문지들에서 다크버트의 등장을 보도했고, 소셜미디어 플랫폼에서도 다크버트(S2W)의 관심이 높은 것으로 조사되고 있다. 그래서 S2W는 “캐너디언킹핀12가 다크버트의 인기와 관심에 편승해 보고자 하는 것”으로 추측하고 있다. 한 마디로 “노이즈 마케팅” 그 이상은 아니라는 것이다.
실제로 유명 브랜드나 제품의 이름을 차용해 공격을 실시하는 것은 사이버 공격자들의 오래된 전략이다. MS, 구글, 어도비, 아마존 등은 매년 “가장 많이 도용 혹은 악용되는 브랜드”로 꼽히며, 순위 경쟁이 치열하다. 캐너디언킹핀12도 이러한 전략의 일환으로 다크버트의 이름을 가져갔을 가능성이 충분하다. 다크버트를 본뜸으로써 캐너디언킹핀12는 ‘인공지능’, ‘다크웹’, ‘언어 모델’ 등과 같은 인기 테마들도 같이 가져간 효과를 누릴 수 있다.
“마지막으로 강조하고 싶은 것이 있습니다. S2W의 다크버트는 주요 식별 정보들을 다 마스킹한 정보만을 습득한다는 겁니다. 그러므로 어떤 경우에도 개인정보 유출에 대한 우려가 없습니다. 이미 ACL 논문 투고 과정에서 공포한 엄격한 심사 기준이고, S2W의 다크버트는 이런 높은 기준을 공식적으로 통과했습니다.”
3줄 요약
1. S2W가 세계에 선보인 다크웹 인공지능 모델, 다크버트.
2. 갑자기 다크웹에 출현한 한 사용자, 인공지능 공격 도구 만들었다고 공개했는데 이름이 다크버트.
3. S2W가 조사했을 때 ‘노이즈 마케팅’일 가능성이 큼.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-05-10] 
