GPT 챗봇이 공개되고 나서 무수히 많은 활용 시도가 나오고 있다. 그 중 위협 모델링에 대한 요청도 있었고, 챗봇은 꽤나 그럴 듯한 결과물을 내는 데 성공했다. 하지만 그 안을 자세히 들여다 보니 헛점이 없지 않았다.
[보안뉴스 문정후 기자] GPT-3 챗봇이 공개되면서 인공지능 기술에 대한 다양한 적용 시험 사례들이 만들어지고 있으며, 꽤나 놀라운 결과들에 대한 소식 또한 나오는 중이다. 사람의 요구에 대하여 꽤나 실질적이면서 인간과 유사한 대응력을 보여주는 이 기술은 위협 모델링에 있어서 어떤 고려 요소가 될 수 있을까? 먼저 오픈AI(OpenAI)에서 만든 이 놀라운 챗봇에 대하여 알아보자.
GPT-3 챗봇이 할 수 있는 일
OWASP 슬랙에서 @DS라는 인물이 스크린샷을 하나 공개한 적이 있다. ‘큐버네티스 환경 내 백엔드부터 백엔드까지에 있는 시스템을 공격할 만한 모든 스푸핑 위협들을 목록화 하고 상세 묘사와 대처법까지 포함해 표 형식으로 정리하라’는 명령을 챗봇에 내렸고, 그 결과로 나온 것을 화면 캡쳐한 것이었다.
결과는 놀라웠다. 이 챗봇은 “일부 예시들을 목록화 한 표”라며 답을 냈다. 입력자가 ‘모든’ 것을 요구했는데, 마치 사람이 대답하듯이 ‘일부’의 위협을 정리한 것이 꽤나 놀랍다는 게 전문가들의 의견이다. 게다가 표의 내용 자체도 충실하다. @DS는 결과물에 대하여 “인간 분석가가 정리한 것보다야 질이 떨어지는 게 사실이지만, 작업을 시작할 기본 시작점으로서는 충분하고도 남는 완성도를 보여준다”고 밝혔다. 챗봇에 명령을 내려서 순식간에 작업의 기본 골자를 완성시키고 사람이 직접 살을 붙이는 식으로 일을 진행하면 위협 모델링에 걸리는 시간이 크게 절약될 것이라는 게 @DS의 결론이었다.
자연어 처리 기능을 가지고 있는 챗봇들은 GPT-3도 마찬가지이지만 사실 아무 것도 모른다. 자기들이 무슨 작업을 하고 있는지, 위협 모델링이 무엇인지, 큐버네티스가 무엇이며 스푸핑 공격이 무엇인지 인지하지 못한다. 다만 입력된 단어와 문장에 대응해 통계학적으로 가장 적절한 대답이 될 만한 단어를 찾아 나열하는 것 뿐이다. 훈련 시기에 훈련자가 입력한 데이터 중에 위협 정보들이 있었다면, 그것을 그대로 따라할 것이라는 뜻이 된다.
잘못될 수 있을까?
이처럼 챗봇들은 위협을 나열하고 표로 만들 수 있다. 하지만 실제로 분석가가 하는 것처럼 특정 시스템을 진짜로 분석한 것이라고 할 수는 없다. 챗봇에는 위협 분석 기능이 아예 존재하지 않는다. 그러므로 해당 시스템에만 적용되는 고유 위협들을 놓칠 가능성이 낮지 않다. 또한 경험이 풍부한 분석들이 잡아낼 수 있는 은근한 위협 혹은 잠재된 위협을 파악하는 데에도 약점을 보인다.
필자는 이점이 ‘사람이 채워 넣으면 될 문제’ 이상의 문제라고 생각한다. 모든 사람들이 인공지능이라는 최첨단 기술이 내놓은 기술을 다시 검토하고 부족한 부분을 찾아 삽입할 정도로 자신의 전문성을 믿지 않는다. 또한 모두가 부지런한 것도 아니다. 더군다나 안전과 위험에 관한 문제에 있어서 인간은 과도하게 긍정적으로 생각하려는 경향이 있다. ‘그 정도면 안전할 거야’, ‘이 정도면 됐어’가 우리의 기본 마음가짐이라는 것이다.
그러니 최첨단 인공지능이 보기에 좋은 위협 목록들을 단숨에 뱉어냈을 때 사람들의 반응은 어떻겠는가? 대부분은 그 목록을 있는 그대로 ‘정답’으로 받아들인다. 신기술의 성능에 의심을 가질 사람 중에, 챗봇의 결과를 전문성을 가지고 검토를 할 사람, 그 중에서도 ‘안전할 거야’라는 본능과 같은 마음 속 믿음을 꺾어버릴 수 있는 사람이 그리 많을 거라고 보이지 않는다. 그러므로 챗봇으로 위협 모델링을 하는 게 유행을 한다면 실질적으로 없애고 처리해야 할 위험 요소들을 놓칠 확률이 높아질 것이라고 예상한다.
왜 위협 모델링인가?
그렇다면 이 시점에서 ‘애초에 우리는 왜 위협 모델링을 하는가?’를 짚고 넘어갈 필요가 있다. 여기에는 여러 가지 이유가 있겠지만 기본적으로는, 생길 수 있는 문제를 미리 예상함으로써 대처를 보다 효과적으로 하자는 것이 위협 모델링의 목적이다. 엔지니어들은 위협 모델링을 함으로써 추가되는 기능에 대비하여 보안 위험을 얼마나 떠안게 되는지를 파악한다. 아니면 현재 단계의 구상 및 설계가 내포하고 있는 위험성을 연구하는 데에도 위협 모델링이 유용하게 활용된다.
위협이라는 건 의외로 ‘발견’의 문제다. 제 때 못 찾아서 위협이 되는 거지, 잘 찾아내기만 한다면 위협이 더 이상 위협으로서 작용하지 않는 게 대부분이다. 즉 어디를 둘러보고 살펴야 하는지만 알아도 위협을 상당히 줄일 수 있다는 것이다. 위협 모델링이란 바로 이 지점에서 강점을 발휘하는 전략이다. 위협을 찾아낼 가능성을 높이는 것이고, 그러므로 찾아야 할 지점이 무한대로 많으면 의미가 없다. 봐야 할 곳은 전부 봤다는 게 자신감의 근원이 되어야 하는데 아무리 해도 다 검토할 수가 없으면 어떻게 자신감을 갖겠는가.
챗봇을 사용해 위협 모델링을 하려는 시도는 아직까지 완전하지 않다. 있는 그대로 완벽한 위협 모델을 만들어내지 않는다. 게다가 빠르게 결과를 내기까지 한다. 불완전한 것이 정답의 모양을 가지고 대량으로 생산된다는 건데, 이는 위험한 결과를 낳을 수 있다. 챗봇이 낸 결과물이 생각보다 그리 완벽하지 않을 수 있다는 걸 기억하는 것이 중요하다.
결론은 다음과 같다.
1) 챗봇을 가지고 위협 모델링을 할 수는 있다.
2) 하지만 그 결과물에는 여러 가지 중요한 요소들이 빠져 있으니 인간 전문가가 보충을 해야 한다.
3) 인공지능으로 너무 위협 모델링을 자주 하는 것도 그리 도움이 되지는 않는다.
4) 항상 인공지능이 내는 결과물을 의심하고 검토할 수 있어야 한다.
글 : 아담 쇼스택(Adam Shostack), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] GPT-3 챗봇이 공개되면서 인공지능 기술에 대한 다양한 적용 시험 사례들이 만들어지고 있으며, 꽤나 놀라운 결과들에 대한 소식 또한 나오는 중이다. 사람의 요구에 대하여 꽤나 실질적이면서 인간과 유사한 대응력을 보여주는 이 기술은 위협 모델링에 있어서 어떤 고려 요소가 될 수 있을까? 먼저 오픈AI(OpenAI)에서 만든 이 놀라운 챗봇에 대하여 알아보자.
[이미지 = utoimage]
GPT-3 챗봇이 할 수 있는 일
OWASP 슬랙에서 @DS라는 인물이 스크린샷을 하나 공개한 적이 있다. ‘큐버네티스 환경 내 백엔드부터 백엔드까지에 있는 시스템을 공격할 만한 모든 스푸핑 위협들을 목록화 하고 상세 묘사와 대처법까지 포함해 표 형식으로 정리하라’는 명령을 챗봇에 내렸고, 그 결과로 나온 것을 화면 캡쳐한 것이었다.
결과는 놀라웠다. 이 챗봇은 “일부 예시들을 목록화 한 표”라며 답을 냈다. 입력자가 ‘모든’ 것을 요구했는데, 마치 사람이 대답하듯이 ‘일부’의 위협을 정리한 것이 꽤나 놀랍다는 게 전문가들의 의견이다. 게다가 표의 내용 자체도 충실하다. @DS는 결과물에 대하여 “인간 분석가가 정리한 것보다야 질이 떨어지는 게 사실이지만, 작업을 시작할 기본 시작점으로서는 충분하고도 남는 완성도를 보여준다”고 밝혔다. 챗봇에 명령을 내려서 순식간에 작업의 기본 골자를 완성시키고 사람이 직접 살을 붙이는 식으로 일을 진행하면 위협 모델링에 걸리는 시간이 크게 절약될 것이라는 게 @DS의 결론이었다.
자연어 처리 기능을 가지고 있는 챗봇들은 GPT-3도 마찬가지이지만 사실 아무 것도 모른다. 자기들이 무슨 작업을 하고 있는지, 위협 모델링이 무엇인지, 큐버네티스가 무엇이며 스푸핑 공격이 무엇인지 인지하지 못한다. 다만 입력된 단어와 문장에 대응해 통계학적으로 가장 적절한 대답이 될 만한 단어를 찾아 나열하는 것 뿐이다. 훈련 시기에 훈련자가 입력한 데이터 중에 위협 정보들이 있었다면, 그것을 그대로 따라할 것이라는 뜻이 된다.
잘못될 수 있을까?
이처럼 챗봇들은 위협을 나열하고 표로 만들 수 있다. 하지만 실제로 분석가가 하는 것처럼 특정 시스템을 진짜로 분석한 것이라고 할 수는 없다. 챗봇에는 위협 분석 기능이 아예 존재하지 않는다. 그러므로 해당 시스템에만 적용되는 고유 위협들을 놓칠 가능성이 낮지 않다. 또한 경험이 풍부한 분석들이 잡아낼 수 있는 은근한 위협 혹은 잠재된 위협을 파악하는 데에도 약점을 보인다.
필자는 이점이 ‘사람이 채워 넣으면 될 문제’ 이상의 문제라고 생각한다. 모든 사람들이 인공지능이라는 최첨단 기술이 내놓은 기술을 다시 검토하고 부족한 부분을 찾아 삽입할 정도로 자신의 전문성을 믿지 않는다. 또한 모두가 부지런한 것도 아니다. 더군다나 안전과 위험에 관한 문제에 있어서 인간은 과도하게 긍정적으로 생각하려는 경향이 있다. ‘그 정도면 안전할 거야’, ‘이 정도면 됐어’가 우리의 기본 마음가짐이라는 것이다.
그러니 최첨단 인공지능이 보기에 좋은 위협 목록들을 단숨에 뱉어냈을 때 사람들의 반응은 어떻겠는가? 대부분은 그 목록을 있는 그대로 ‘정답’으로 받아들인다. 신기술의 성능에 의심을 가질 사람 중에, 챗봇의 결과를 전문성을 가지고 검토를 할 사람, 그 중에서도 ‘안전할 거야’라는 본능과 같은 마음 속 믿음을 꺾어버릴 수 있는 사람이 그리 많을 거라고 보이지 않는다. 그러므로 챗봇으로 위협 모델링을 하는 게 유행을 한다면 실질적으로 없애고 처리해야 할 위험 요소들을 놓칠 확률이 높아질 것이라고 예상한다.
왜 위협 모델링인가?
그렇다면 이 시점에서 ‘애초에 우리는 왜 위협 모델링을 하는가?’를 짚고 넘어갈 필요가 있다. 여기에는 여러 가지 이유가 있겠지만 기본적으로는, 생길 수 있는 문제를 미리 예상함으로써 대처를 보다 효과적으로 하자는 것이 위협 모델링의 목적이다. 엔지니어들은 위협 모델링을 함으로써 추가되는 기능에 대비하여 보안 위험을 얼마나 떠안게 되는지를 파악한다. 아니면 현재 단계의 구상 및 설계가 내포하고 있는 위험성을 연구하는 데에도 위협 모델링이 유용하게 활용된다.
위협이라는 건 의외로 ‘발견’의 문제다. 제 때 못 찾아서 위협이 되는 거지, 잘 찾아내기만 한다면 위협이 더 이상 위협으로서 작용하지 않는 게 대부분이다. 즉 어디를 둘러보고 살펴야 하는지만 알아도 위협을 상당히 줄일 수 있다는 것이다. 위협 모델링이란 바로 이 지점에서 강점을 발휘하는 전략이다. 위협을 찾아낼 가능성을 높이는 것이고, 그러므로 찾아야 할 지점이 무한대로 많으면 의미가 없다. 봐야 할 곳은 전부 봤다는 게 자신감의 근원이 되어야 하는데 아무리 해도 다 검토할 수가 없으면 어떻게 자신감을 갖겠는가.
챗봇을 사용해 위협 모델링을 하려는 시도는 아직까지 완전하지 않다. 있는 그대로 완벽한 위협 모델을 만들어내지 않는다. 게다가 빠르게 결과를 내기까지 한다. 불완전한 것이 정답의 모양을 가지고 대량으로 생산된다는 건데, 이는 위험한 결과를 낳을 수 있다. 챗봇이 낸 결과물이 생각보다 그리 완벽하지 않을 수 있다는 걸 기억하는 것이 중요하다.
결론은 다음과 같다.
1) 챗봇을 가지고 위협 모델링을 할 수는 있다.
2) 하지만 그 결과물에는 여러 가지 중요한 요소들이 빠져 있으니 인간 전문가가 보충을 해야 한다.
3) 인공지능으로 너무 위협 모델링을 자주 하는 것도 그리 도움이 되지는 않는다.
4) 항상 인공지능이 내는 결과물을 의심하고 검토할 수 있어야 한다.
글 : 아담 쇼스택(Adam Shostack), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-04-18] 
.jpg)
