블랙베리 사일런스의 솔루션에서 특정 게임과 관련된 편향성 발견해
편향성 이용하니 멀웨어와 해킹 도구가 높은 확률로 무사통과해
[보안뉴스 문가용 기자] 호주의 사이버 보안 업체 스카이라이트(Skylight)의 전문가들이, 블랙베리 사일런스(Blackberry Cylance)의 인공지능 기반 백신 엔진을 속일 수 있는 방법을 발견했다고 주장했다. 이에 블랙베리 사일런스 측은 사실 확인 작업에 착수했다.
최근 몇 년 사이에 새롭게 출시된 사이버 보안 솔루션 치고 ‘인공지능’이나 ‘머신러닝’을 바탕으로 하고 있지 않은 것이 없을 정도로 이 두 가지 기술은 보안 업계에서 각광 받고 있는 상태다. 기존 솔루션으로는 해결할 수 없던 수많은 문제들을 해결할 수 있을 것처럼 광고되는 것은 덤이다. 이는 단지 한두 회사만의 이야기는 아니다.
이런 와중에 스카이라이트는 블랙베리 사일런스가 출시한 인공지능 기반 백신 엔진을 리버스 엔지니어링 하면서, “특정 비디오 게임에 대한 편향성을 알고리즘이 가지고 있”는 것을 발견했다. 스카이라이트는 이 게임의 이름은 밝히지 않고 있지만 인기가 매우 높은 게임이라고 하며, “그 인기 때문에 사일런스 측에서 몇 가지 파일을 특별하게 처리한 것으로 보인다”고 추측했다.
이를 이용했을 때 인공지능을 속이는 게 가능해진다. “해당 게임의 주요 실행파일에 존재하는 특수한 문자열 몇 개를 따서 이미 악성인 것으로 알려진 파일의 끝에 부착하면 솔루션이 악성 파일을 정상 파일로 분류합니다.”
스카이라이트가 블랙베리 사일런스의 제품을 선정한 건 “실리적인 이유” 때문이라고 한다. “모기업인 블랙베리는 보안 업계를 수년 동안 이끌어온 업체 중 하나죠. 사일런스는 인공지능 보안 솔루션 개발이는 측면에서 첫 손에 꼽히고요. 상징성이라는 측면에서 가장 파급력이 클 것이라고 봤습니다. 또한 솔루션이 무료로 배포되고 있다는 것도 중요한 요소였습니다.”
스카이라이트는 사일런스의 솔루션을 속이는 과정을 영상(https://www.youtube.com/watch?time_continue=2&v=NE4kgGjhf1Y)으로 공개했다. 그러면서 “이 과정은 사일런스의 제품만이 아니라 다른 인공지능 기반 솔루션들에도 통할만 한 것이라고 보고 있다”고 덧붙였다.
스카이라이트는 이 실험을 위해 다양한 해킹 툴과 멀웨어를 활용했다. 해킹 툴 중에는 미미캐츠(Mimikatz), 프로세스해커(ProcessHacker), 미터프리터(Meterpreter)가, 멀웨어 중에는 코인마이너(CoinMiner), 드리덱스(Dridex), 에모텟(Emotet), 고스트랫(Gh0stRAT), 코브터(Kovter), 나노봇(Nanobot), 칵봇(Qakbot), 트릭봇(Trickbot), 제우스(Zeus)가 사용됐다. 위 영상에서 나온 방법을 사용했을 때 해킹 도구와 멀웨어의 83%가 사일런스의 보안 엔진을 무사통과했다.
그러면서 스카이라이트는 현실적인 문제도 언급했다. “그렇다고 인공지능 솔루션이 허상이라는 건 아닙니다. 다만 계속해서 지적되어 왔었던, 인공지능의 편향성 문제가 보안 분야에서도 문제를 일으킬 수 있다는 걸 증명하고 싶었습니다. 기존의 백신 시그니처 솔루션을 통과하는 것보다 인공지능의 편향성을 찾아내는 게 더 어려운 일이기도 합니다.”
그렇다면 이 문제를 어떻게 해결해야 할까? “시그니처 기반 솔루션도 그것만 사용되었을 때는 한없이 무력해지고 있습니다. 인공지능도 그것만 사용되었을 때는 저희가 발견한 문제가 있을 수 있습니다. 저희는 이 두 가지가 복합적으로 사용되는 게 가장 이상적이라고 봅니다. 즉 아직 알려지지 않은 문제를 찾아내는 데에는 인공지능과 머신러닝을 활용하되, 그것을 기존 솔루션과 방법론을 가지고 실험하고 확인하는 것이죠. 즉 또 다른 측면의 심층방어를 하자는 것입니다.”
그런데 스카이라이트는 이러한 발표를 하기 전에 블랙베리 사일런스에 미리 알리지 않았다. 패치나 설명의 기회를 주지 않은 것이다. 스카이라이트의 CTO인 샤하르 지니(Shahar Zini)는 “패치로 해결할 수 있는 소프트웨어 취약점과는 다른 유형의 약점이라고 봤다”고 설명한다. 또한 “상세한 기술적 설명을 공개한 것이 아니기 때문에 악용하기 힘들 것”이라고도 말했다. “앞으로도 상세한 내용을 공개하지 않을 생각입니다.”
한편 블랙베리 사일런스는 “현재 조사 팀이 이 문제를 살펴보고 있으며, 정말로 인공지능의 편향성 문제인지, 설정 오류 문제인지 파악하는 중”이라고 외신을 통해 말했다. 하지만 아직 조사 결과는 나오지 않고 있다.
보안 업체 브로미움(Bromium)의 CEO인 그레고리 웹(Gregory Webb)은 “코드는 그냥 코드일뿐”이라며, “이를 좋은 코드냐 나쁜 코드냐 판단하는 건 대단히 어려운 일”이라고 지적했다. “그런데 그 선악을 기계에게 결정하도록 한다? 그러한 발상 자체부터가 인공지능 기반 보안 솔루션의 문제라고 봅니다. 사람도 좋고 나쁜 걸 올바로 판단하지 못합니다. 하물며 기계이겠습니까?”
그러면서 웹은 “인공지능으로 모든 문제를 해결하려고 하니까 생기는 문제”라고도 말한다. “인공지능만 있으면 모든 문제가 사라지고, 미래까지도 예측할 수 있다고 모두가 믿고 있어요. 맹목적인 유행과 잘못된 믿음 - 즉, 광기 - 에는 한계가 없죠. 물론 인공지능이 가지고 있는 좋은 점들이 있는 건 사실입니다. 그러나 거기에 한계나 오류가 하나도 없을 순 없습니다. 과거 데이터를 바탕으로 미래에 있을 일을 예측하는 건, 사실을 서술하는 것과는 다르다는 걸 이해해야 합니다.”
3줄 요약
1. 블랙베리 사일런스의 인공지능 기반 솔루션에서 ‘편향성’과 관련된 문제 발견됨.
2. 블랙베리 사일런스 측은 “현재 조사 중”이라고만 발표. 그도 그럴 것이 발견자들이 미리 알리지 않고 공개해버렸음.
3. 한 보안 전문가는 인공지능을 보안의 신처럼 떠받드는 것 자체가 문제라고 지적.
[국제부 문가용 기자(globoan@boannews.com)]
편향성 이용하니 멀웨어와 해킹 도구가 높은 확률로 무사통과해
[보안뉴스 문가용 기자] 호주의 사이버 보안 업체 스카이라이트(Skylight)의 전문가들이, 블랙베리 사일런스(Blackberry Cylance)의 인공지능 기반 백신 엔진을 속일 수 있는 방법을 발견했다고 주장했다. 이에 블랙베리 사일런스 측은 사실 확인 작업에 착수했다.
[이미지 = iclickart]
최근 몇 년 사이에 새롭게 출시된 사이버 보안 솔루션 치고 ‘인공지능’이나 ‘머신러닝’을 바탕으로 하고 있지 않은 것이 없을 정도로 이 두 가지 기술은 보안 업계에서 각광 받고 있는 상태다. 기존 솔루션으로는 해결할 수 없던 수많은 문제들을 해결할 수 있을 것처럼 광고되는 것은 덤이다. 이는 단지 한두 회사만의 이야기는 아니다.
이런 와중에 스카이라이트는 블랙베리 사일런스가 출시한 인공지능 기반 백신 엔진을 리버스 엔지니어링 하면서, “특정 비디오 게임에 대한 편향성을 알고리즘이 가지고 있”는 것을 발견했다. 스카이라이트는 이 게임의 이름은 밝히지 않고 있지만 인기가 매우 높은 게임이라고 하며, “그 인기 때문에 사일런스 측에서 몇 가지 파일을 특별하게 처리한 것으로 보인다”고 추측했다.
이를 이용했을 때 인공지능을 속이는 게 가능해진다. “해당 게임의 주요 실행파일에 존재하는 특수한 문자열 몇 개를 따서 이미 악성인 것으로 알려진 파일의 끝에 부착하면 솔루션이 악성 파일을 정상 파일로 분류합니다.”
스카이라이트가 블랙베리 사일런스의 제품을 선정한 건 “실리적인 이유” 때문이라고 한다. “모기업인 블랙베리는 보안 업계를 수년 동안 이끌어온 업체 중 하나죠. 사일런스는 인공지능 보안 솔루션 개발이는 측면에서 첫 손에 꼽히고요. 상징성이라는 측면에서 가장 파급력이 클 것이라고 봤습니다. 또한 솔루션이 무료로 배포되고 있다는 것도 중요한 요소였습니다.”
스카이라이트는 사일런스의 솔루션을 속이는 과정을 영상(https://www.youtube.com/watch?time_continue=2&v=NE4kgGjhf1Y)으로 공개했다. 그러면서 “이 과정은 사일런스의 제품만이 아니라 다른 인공지능 기반 솔루션들에도 통할만 한 것이라고 보고 있다”고 덧붙였다.
스카이라이트는 이 실험을 위해 다양한 해킹 툴과 멀웨어를 활용했다. 해킹 툴 중에는 미미캐츠(Mimikatz), 프로세스해커(ProcessHacker), 미터프리터(Meterpreter)가, 멀웨어 중에는 코인마이너(CoinMiner), 드리덱스(Dridex), 에모텟(Emotet), 고스트랫(Gh0stRAT), 코브터(Kovter), 나노봇(Nanobot), 칵봇(Qakbot), 트릭봇(Trickbot), 제우스(Zeus)가 사용됐다. 위 영상에서 나온 방법을 사용했을 때 해킹 도구와 멀웨어의 83%가 사일런스의 보안 엔진을 무사통과했다.
그러면서 스카이라이트는 현실적인 문제도 언급했다. “그렇다고 인공지능 솔루션이 허상이라는 건 아닙니다. 다만 계속해서 지적되어 왔었던, 인공지능의 편향성 문제가 보안 분야에서도 문제를 일으킬 수 있다는 걸 증명하고 싶었습니다. 기존의 백신 시그니처 솔루션을 통과하는 것보다 인공지능의 편향성을 찾아내는 게 더 어려운 일이기도 합니다.”
그렇다면 이 문제를 어떻게 해결해야 할까? “시그니처 기반 솔루션도 그것만 사용되었을 때는 한없이 무력해지고 있습니다. 인공지능도 그것만 사용되었을 때는 저희가 발견한 문제가 있을 수 있습니다. 저희는 이 두 가지가 복합적으로 사용되는 게 가장 이상적이라고 봅니다. 즉 아직 알려지지 않은 문제를 찾아내는 데에는 인공지능과 머신러닝을 활용하되, 그것을 기존 솔루션과 방법론을 가지고 실험하고 확인하는 것이죠. 즉 또 다른 측면의 심층방어를 하자는 것입니다.”
그런데 스카이라이트는 이러한 발표를 하기 전에 블랙베리 사일런스에 미리 알리지 않았다. 패치나 설명의 기회를 주지 않은 것이다. 스카이라이트의 CTO인 샤하르 지니(Shahar Zini)는 “패치로 해결할 수 있는 소프트웨어 취약점과는 다른 유형의 약점이라고 봤다”고 설명한다. 또한 “상세한 기술적 설명을 공개한 것이 아니기 때문에 악용하기 힘들 것”이라고도 말했다. “앞으로도 상세한 내용을 공개하지 않을 생각입니다.”
한편 블랙베리 사일런스는 “현재 조사 팀이 이 문제를 살펴보고 있으며, 정말로 인공지능의 편향성 문제인지, 설정 오류 문제인지 파악하는 중”이라고 외신을 통해 말했다. 하지만 아직 조사 결과는 나오지 않고 있다.
보안 업체 브로미움(Bromium)의 CEO인 그레고리 웹(Gregory Webb)은 “코드는 그냥 코드일뿐”이라며, “이를 좋은 코드냐 나쁜 코드냐 판단하는 건 대단히 어려운 일”이라고 지적했다. “그런데 그 선악을 기계에게 결정하도록 한다? 그러한 발상 자체부터가 인공지능 기반 보안 솔루션의 문제라고 봅니다. 사람도 좋고 나쁜 걸 올바로 판단하지 못합니다. 하물며 기계이겠습니까?”
그러면서 웹은 “인공지능으로 모든 문제를 해결하려고 하니까 생기는 문제”라고도 말한다. “인공지능만 있으면 모든 문제가 사라지고, 미래까지도 예측할 수 있다고 모두가 믿고 있어요. 맹목적인 유행과 잘못된 믿음 - 즉, 광기 - 에는 한계가 없죠. 물론 인공지능이 가지고 있는 좋은 점들이 있는 건 사실입니다. 그러나 거기에 한계나 오류가 하나도 없을 순 없습니다. 과거 데이터를 바탕으로 미래에 있을 일을 예측하는 건, 사실을 서술하는 것과는 다르다는 걸 이해해야 합니다.”
3줄 요약
1. 블랙베리 사일런스의 인공지능 기반 솔루션에서 ‘편향성’과 관련된 문제 발견됨.
2. 블랙베리 사일런스 측은 “현재 조사 중”이라고만 발표. 그도 그럴 것이 발견자들이 미리 알리지 않고 공개해버렸음.
3. 한 보안 전문가는 인공지능을 보안의 신처럼 떠받드는 것 자체가 문제라고 지적.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
.jpg)
.jpg)
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
.jpg){kind=small}
