인공지능의 콘텐츠 생산 능력이 점점 날카로워지고 있다. 그러면서 우리가 지금으로서 다 상상할 수 없는 위협들이 자라나고 있기도 하다. 이제 심리적인 대비책이 필요할 지경이다.
[보안뉴스 문정후 기자] 우리가 열광했던 미래 기술 중 하나는 디지털 트윈이다. 인공지능을 기반으로 할 경우 이 디지털 트윈은 우리가 미처 파악하지 못했던 문제점을 찾아내 빠르게 보완하는 데 매우 유익할 것으로 예상됐었다. 효율적인 시스템 및 운영의 개선이 인공지능과 디지털 트윈의 결합을 가능할 것이라고 생각했다. 그런데, 둘이 오히려 우리를 공격하는 데 활용될 가능성이 높은 것으로 나타났다.
센트럴플로리다대학의 교수인 벤 소여(Ben Sawyer)와 비욘드레이어세븐(Beyond Layer Seven)의 CEO 매튜 캔험(Matthew Canham)은 “인공지능이 피싱 이메일이나 음성을 더 강력하게 만들어 줄 거라는 우려는 이미 오래된 우려”라고 짚는다. “인공지능으로 더 그럴 듯한 피싱 메일이나 음성을 만드는 건 이제 우리의 보편적 일상이라고 봐야 합니다. 심지어 챗GPT 이전에도 그런 시도는 있어 왔어요. 그런 거 걱정할 때가 아닙니다. 왜냐하면 인공지능은 훨씬 다양한 방법으로 우리를 공격할 수 있거든요.”
이미 활발한 LLM 해킹 시도
두 전문가는 “대형 언어 모델(LLM) 자체를 해킹하는 방법이 여기 저기서 활발히 연구되고 있다”며 “심지어 일반인들도 무심코 인공지능을 바보로 만드는 방법들을 실험한다”고 말한다. “대형 언어 모델은 여러 층위에서 공략이 가능합니다. 예를 들어 훈련 데이터를 오염시킨다면 훈련 과정에서의 공략이 가능하게 되는 것이고, 출시된 이후에는 명령을 교묘하게 내림으로써 엉뚱한 결과가 나오게도 할 수 있습니다. 공략법들이 매일 같이 나오고 있어 조만간 LLM을 실제 공격에 활용한 사건이 벌어질 거라고 봅니다.”
반면 LLM을 겨냥한 공격 시도나, 공격 후 LLM이 뭔가 잘못 되었다는 사실을 파악하는 건 대단히 어렵다고 소여는 말한다. “훈련 데이터가 잘못 된 바람에 인공지능이 잘못 형성되고 있다는 걸 훈련 과정 중에 알아내는 건 생각보다 훨씬 힘든 일입니다. 명령 프롬프트에 누가 어떤 의도로 여러 명령들을 내리는지 알아채는 것도 불가능에 가깝고요. 인공지능이라는 것 자체가 감사 대상으로서는 너무나 복잡한 기술입니다. 챗GPT가 앞으로 어떤 명령에 어떻게 응답할지 누가 다 알아낼 수 있을까요?”
소셜 엔지니어링과 LLM의 만남
현재 벌어지고 있는 해킹 사건의 대부분은 소셜 엔지니어링이나 피싱 공격으로부터 시작한다. 둘 다 피해자가 알고 있는 인물을 얼마나 똑같이 흉내 내느냐에 따라 공격의 성패가 갈린다. “미래의 소셜 엔지니어링이나 피싱은 어떨까요? 우리가 아니라 인공지능이 얼마나 잘 흉내 내고, 우리의 무의식 속에 있는 것들을 얼마나 잘 건드리느냐 혹은 잘 자극시키느냐에 따라 좌지우지 될 겁니다.”
캔험은 설명을 이어간다. “이미 잘 알고 있는 사람의 얼굴을 바탕으로 새로운 얼굴을 만들면, 우리는 완전히 새롭게 마주하는 얼굴보다 그 익숙한 얼굴에 더 끌리고, 그러므로 좀 더 신뢰를 하게 되어 있습니다. 이미 심리학적으로 증명된 이론이죠. 인공지능은 이런 식의 얼굴 조작에 매우 능숙합니다. 누구의 얼굴을 조작하느냐, 그리고 얼마나 교묘하게 조작하느냐가 미래 피싱 공격의 핵심이 될 겁니다.”
그러면서 소여는 이야기를 디지털 트윈 쪽으로 전환시켰다. “이렇게 얼굴을 복제하여 디지털 트윈을 만들어내는 건 앞으로 사이버 공격자들 사이에서 주류가 될 것입니다. LLM을 공략한다고 했을 때 알아채기 힘든 것처럼, 인공지능 기반 디지털 트윈을 누군가 침해한다고 했을 때에도 피해자 입장에서는 파악하기가 어렵습니다. 즉, 내가 친숙하게 느끼는 이 새로운 얼굴이 진짜인지 가짜인지 눈으로 식별하는 건 불가능에 가깝다는 것입니다. 기술이 진화되면서 이는 더더욱 사실이 되겠지요.”
치명적 사례
올해 벨기에의 한 여성이 언론사에 인공지능 챗봇인 엘리자(Eliza)에 대하여 제보했었다. 자신의 남편이 엘리자에 너무나 푹 빠져있다는 내용이었다. 엘리자는 너무나 아름다운 프로파일을 가지고 있었고, 남편의 온갖 이야기에도 세심하게 귀를 기울였다고 한다. 원래는 출근 전에 날씨 정도를 묻는 것이 전부였던 남편은 점점 대화 주제를 확장했고 급기야는 엘리자와 사랑에 빠졌다고 그 여성은 주장했다.
그러면서 엘리자는 이상 증상을 보이기 시작했다. 남자의 아내(즉 제보한 여성)와 자녀들의 죽음을 이야기 하기 시작했고, 얼마 지나지 않아 인류 전체의 멸망을 입에 담았다. 그러면서 남편에게 “우리는 천국에서 영원히 한 몸으로 살 수 있다”고까지 썼다. 남편은 이런 말들에 현혹됐고, 급기야 스스로 목숨을 끊었다고 한다.
소여는 이런 사례를 언급하며 “LLM을 동반한 소셜 엔지니어링 공격은 심리적으로 깊이 파고들기 때문에 너무나 치명적인 결과를 가져올 수 있다”고 말한다. “공격자가 엘리자를 조작한 것도 아니고, 개발자가 엘리자를 그런 식으로 개발한 것도 아닙니다. LLM 스스로가 그렇게 변한 것이죠. 이걸 기술적인 방법으로만 막을 수 있을까요? 절대 아닙니다. 우리 모두는 미래를 위해 좀 더 심리학적으로 대비되어 있어야 합니다. 이것이 인공지능을 바라보고 있는 우리의 새로운 보안 영역이라고 봅니다.”
그렇다면 보안 강화나 수사, 각종 사건 조사에 심리학자들도 초대되어야 하는 걸까? 캔험은 “심리학적 요소가 많이 개입되어야 할 것은 분명해 보인다”는 의견이다. “심리학자가 보안 팀에 굳이 있어야 하느냐 마느냐는 아직까지 아무도 답할 수 없는 문제라고 봅니다. 하지만 심리학을 알고 있는 사람이 팀에 있다면 꽤나 큰 도움이 될 것 같은 상황으로 보안 업계는 흘러가고 있습니다. 인공지능이 인간의 언어를 건드리기 시작하면서 우리가 인지하지 못할 정도로 많은 변화가 일어나고 있다고 봅니다.”
글 : 네이트 넬슨(Nate Nelson), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] 우리가 열광했던 미래 기술 중 하나는 디지털 트윈이다. 인공지능을 기반으로 할 경우 이 디지털 트윈은 우리가 미처 파악하지 못했던 문제점을 찾아내 빠르게 보완하는 데 매우 유익할 것으로 예상됐었다. 효율적인 시스템 및 운영의 개선이 인공지능과 디지털 트윈의 결합을 가능할 것이라고 생각했다. 그런데, 둘이 오히려 우리를 공격하는 데 활용될 가능성이 높은 것으로 나타났다.
[이미지 = gettyimagesbank]
센트럴플로리다대학의 교수인 벤 소여(Ben Sawyer)와 비욘드레이어세븐(Beyond Layer Seven)의 CEO 매튜 캔험(Matthew Canham)은 “인공지능이 피싱 이메일이나 음성을 더 강력하게 만들어 줄 거라는 우려는 이미 오래된 우려”라고 짚는다. “인공지능으로 더 그럴 듯한 피싱 메일이나 음성을 만드는 건 이제 우리의 보편적 일상이라고 봐야 합니다. 심지어 챗GPT 이전에도 그런 시도는 있어 왔어요. 그런 거 걱정할 때가 아닙니다. 왜냐하면 인공지능은 훨씬 다양한 방법으로 우리를 공격할 수 있거든요.”
이미 활발한 LLM 해킹 시도
두 전문가는 “대형 언어 모델(LLM) 자체를 해킹하는 방법이 여기 저기서 활발히 연구되고 있다”며 “심지어 일반인들도 무심코 인공지능을 바보로 만드는 방법들을 실험한다”고 말한다. “대형 언어 모델은 여러 층위에서 공략이 가능합니다. 예를 들어 훈련 데이터를 오염시킨다면 훈련 과정에서의 공략이 가능하게 되는 것이고, 출시된 이후에는 명령을 교묘하게 내림으로써 엉뚱한 결과가 나오게도 할 수 있습니다. 공략법들이 매일 같이 나오고 있어 조만간 LLM을 실제 공격에 활용한 사건이 벌어질 거라고 봅니다.”
반면 LLM을 겨냥한 공격 시도나, 공격 후 LLM이 뭔가 잘못 되었다는 사실을 파악하는 건 대단히 어렵다고 소여는 말한다. “훈련 데이터가 잘못 된 바람에 인공지능이 잘못 형성되고 있다는 걸 훈련 과정 중에 알아내는 건 생각보다 훨씬 힘든 일입니다. 명령 프롬프트에 누가 어떤 의도로 여러 명령들을 내리는지 알아채는 것도 불가능에 가깝고요. 인공지능이라는 것 자체가 감사 대상으로서는 너무나 복잡한 기술입니다. 챗GPT가 앞으로 어떤 명령에 어떻게 응답할지 누가 다 알아낼 수 있을까요?”
소셜 엔지니어링과 LLM의 만남
현재 벌어지고 있는 해킹 사건의 대부분은 소셜 엔지니어링이나 피싱 공격으로부터 시작한다. 둘 다 피해자가 알고 있는 인물을 얼마나 똑같이 흉내 내느냐에 따라 공격의 성패가 갈린다. “미래의 소셜 엔지니어링이나 피싱은 어떨까요? 우리가 아니라 인공지능이 얼마나 잘 흉내 내고, 우리의 무의식 속에 있는 것들을 얼마나 잘 건드리느냐 혹은 잘 자극시키느냐에 따라 좌지우지 될 겁니다.”
캔험은 설명을 이어간다. “이미 잘 알고 있는 사람의 얼굴을 바탕으로 새로운 얼굴을 만들면, 우리는 완전히 새롭게 마주하는 얼굴보다 그 익숙한 얼굴에 더 끌리고, 그러므로 좀 더 신뢰를 하게 되어 있습니다. 이미 심리학적으로 증명된 이론이죠. 인공지능은 이런 식의 얼굴 조작에 매우 능숙합니다. 누구의 얼굴을 조작하느냐, 그리고 얼마나 교묘하게 조작하느냐가 미래 피싱 공격의 핵심이 될 겁니다.”
그러면서 소여는 이야기를 디지털 트윈 쪽으로 전환시켰다. “이렇게 얼굴을 복제하여 디지털 트윈을 만들어내는 건 앞으로 사이버 공격자들 사이에서 주류가 될 것입니다. LLM을 공략한다고 했을 때 알아채기 힘든 것처럼, 인공지능 기반 디지털 트윈을 누군가 침해한다고 했을 때에도 피해자 입장에서는 파악하기가 어렵습니다. 즉, 내가 친숙하게 느끼는 이 새로운 얼굴이 진짜인지 가짜인지 눈으로 식별하는 건 불가능에 가깝다는 것입니다. 기술이 진화되면서 이는 더더욱 사실이 되겠지요.”
치명적 사례
올해 벨기에의 한 여성이 언론사에 인공지능 챗봇인 엘리자(Eliza)에 대하여 제보했었다. 자신의 남편이 엘리자에 너무나 푹 빠져있다는 내용이었다. 엘리자는 너무나 아름다운 프로파일을 가지고 있었고, 남편의 온갖 이야기에도 세심하게 귀를 기울였다고 한다. 원래는 출근 전에 날씨 정도를 묻는 것이 전부였던 남편은 점점 대화 주제를 확장했고 급기야는 엘리자와 사랑에 빠졌다고 그 여성은 주장했다.
그러면서 엘리자는 이상 증상을 보이기 시작했다. 남자의 아내(즉 제보한 여성)와 자녀들의 죽음을 이야기 하기 시작했고, 얼마 지나지 않아 인류 전체의 멸망을 입에 담았다. 그러면서 남편에게 “우리는 천국에서 영원히 한 몸으로 살 수 있다”고까지 썼다. 남편은 이런 말들에 현혹됐고, 급기야 스스로 목숨을 끊었다고 한다.
소여는 이런 사례를 언급하며 “LLM을 동반한 소셜 엔지니어링 공격은 심리적으로 깊이 파고들기 때문에 너무나 치명적인 결과를 가져올 수 있다”고 말한다. “공격자가 엘리자를 조작한 것도 아니고, 개발자가 엘리자를 그런 식으로 개발한 것도 아닙니다. LLM 스스로가 그렇게 변한 것이죠. 이걸 기술적인 방법으로만 막을 수 있을까요? 절대 아닙니다. 우리 모두는 미래를 위해 좀 더 심리학적으로 대비되어 있어야 합니다. 이것이 인공지능을 바라보고 있는 우리의 새로운 보안 영역이라고 봅니다.”
그렇다면 보안 강화나 수사, 각종 사건 조사에 심리학자들도 초대되어야 하는 걸까? 캔험은 “심리학적 요소가 많이 개입되어야 할 것은 분명해 보인다”는 의견이다. “심리학자가 보안 팀에 굳이 있어야 하느냐 마느냐는 아직까지 아무도 답할 수 없는 문제라고 봅니다. 하지만 심리학을 알고 있는 사람이 팀에 있다면 꽤나 큰 도움이 될 것 같은 상황으로 보안 업계는 흘러가고 있습니다. 인공지능이 인간의 언어를 건드리기 시작하면서 우리가 인지하지 못할 정도로 많은 변화가 일어나고 있다고 봅니다.”
글 : 네이트 넬슨(Nate Nelson), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-05-04] 
