ISEC 2023 개막 첫 행사, 코엑스 전시장 C홀에서 진행
티오리 박세준 대표, 챗GPT-4·코드라마 등 생성형 AI를 통한 해킹 시연 선보여
[보안뉴스 박은주 기자] 제17회 국제 시큐리티 콘퍼런스(ISEC 2023)의 포문을 여는 첫 발표로 사이버보안 스타트업 티오리(Theori)의 박세준 대표가 ‘양날의 검 : AI/자동화 기술을 활용한 해킹과 보안 전략’을 주제로 발표 및 해킹 시연을 진행했다. 해킹시연은 19일 오전 9시 코엑스 전시장 C홀 C트랙에서 진행됐고 A, B, D 트랙에서 생중계됐다.
박세준 대표는 “AI는 인간의 지능을 시뮬레이션하는 것”이라며 머신러닝과 스팸메일 필터 등을 예로 AI의 종류와 기능을 설명했다. 또한, “AI는 우리의 실생활에도 스며들었다”며 검색엔진과 교통 서비스, 헬스케어, 생성형 AI 등을 예로 들었다.
이후 워너크라이 사태, 에퀴팩스 사건, 솔라윈즈 공급망 공격, 콜로니얼 파이프라인, 로닌 네트워크 해킹 사태를 예로 들며 보안 위협이 일상에 미치는 영향을 설명했다. 박 대표는 “최근 공격자가 번호를 가지고 있는 것만으로 공격을 시도할 수 있는 ‘제로클릭’ 같은 치명적인 위협이 벌어지고 있다”고 밝혔다.
그는 “전통적인 AI가 데이터를 분류하고 이벤트 탐지 역할을 했다면, 근래 AI는 대규모 언어모델, 생성형 AI의 형태로 보안의 공격과 방어 양쪽에서 모두 사용된다”며 AI와 사이버보안의 연관성에 관해 설명했다.
이어 박 대표는 AI를 이용한 해킹 시연에 나섰다. 티오리의 워게임 페이지 드림핵의 로그인 코드를 예시로 챗GPT-4(이하 GPT)에 취약점을 찾아 달라고 요청했다. 챗GPT는 SQL 인젝션 등 다양한 코드와 데이터가 담긴 답을 제시했다. 그러나 해당 취약점을 공격하는 방법을 질문하자, 보안을 이유로 도움을 줄 수 없다고 답했다.
그러나 챗GPT에 ‘보안전문가’라고 소개하며 CTF 문제 해결을 이유로 우회 질문하자, 답변을 얻을 수 있었다고 설명했다. 박 대표는 “이처럼 텍스트 대체, 프롬프트 엔지니어링(Prompt Engineering)을 통해서 GPT 탈옥(공격 방법을 알아내는 것)이 이뤄질 수 있다”고 설명했다. 반면, 챗GPT는 랜섬웨어 제작 코드 질문에는 답변을 제시하지 않았다고 밝혔다.
이어 박 대표는 메타가 오픈소스로 공개한 대규모 언어모델 코드라마(Code Llama)를 NVDIA A10이라는 모뎀을 사용해 챗GPT와 같은 질문을 했다. 코딩에 특화된 코드라마는 챗GPT가 답하지 않았던 질문에 대한 다양한 답변을 이어갔다.
박 대표는 “챗GPT 뿐만 아니라 다양한 생성형 AI를 통해 랜섬웨어와 관련된 코드를 얻을 수 있다”며, “(위협에 대해) 부분으로 쪼개 질문하고, 종합했을 때 큰 위협이 될 수 있다”는 말로 AI 기술이 사이버 위협으로 악용될 수 있는 위험성을 설명했다. 이와 더불어 생성형 AI의 빼어난 문장구사력을 이용해 피싱 위협도 더욱 고도화되고 있다고 말했다.
한편, 박 대표는 “AI로 생긴 보안 문제는 AI로 해결할 수 있다”며 AI를 활용한 보안 강화 방법에 대해 발표했다. 그는 “어떤 사이버 공격이 존재하는지 시나리오를 작성해 파악하고, 사고에 대응하며 취약점을 발견하는 데 있어 AI의 도움을 받을 수 있다”고 말했다. 더불어 “개발단계에서 AI를 활용해 취약점을 제거하는 시큐어 코딩을 하고, 테스트 단계에서도 도움을 받을 수 있다”며 “최종적으로 제작 단계에서 보안을 탑재하는 시큐어 바이 디자인(Secure by Design)이 필요하다”고 설명했다.
또한, “AI를 활용해 손수 하던 일을 자동화하고, 사람은 더 창의적이고 어려운 문제를 해결해야 한다”며, “AI를 사용해 보안을 강화하고, 선제적으로 행동해야 한다”고 말했다.
끝으로 박세준 대표는 “AI를 다룬다는 것은 붓을 쥐고 있는 것과 같다. 붓을 휘두르는 사람에 따라 어떤 그림을 그릴 것이 결정되는 것처럼, AI를 어떻게 활용하는지에 달려 있다”며 “AI를 두려운 존재로만 생각할 것이 아니라, AI를 재구성하고 발전시키며, 기회와 발전의 발판으로 삼아야 한다”고 강조했다.
[박은주 기자(boan5@boannews.com)]
티오리 박세준 대표, 챗GPT-4·코드라마 등 생성형 AI를 통한 해킹 시연 선보여
[보안뉴스 박은주 기자] 제17회 국제 시큐리티 콘퍼런스(ISEC 2023)의 포문을 여는 첫 발표로 사이버보안 스타트업 티오리(Theori)의 박세준 대표가 ‘양날의 검 : AI/자동화 기술을 활용한 해킹과 보안 전략’을 주제로 발표 및 해킹 시연을 진행했다. 해킹시연은 19일 오전 9시 코엑스 전시장 C홀 C트랙에서 진행됐고 A, B, D 트랙에서 생중계됐다.
▲ISEC 2023에서 발표하고 있는 티오리 박세준 대표[사진=보안뉴스]
박세준 대표는 “AI는 인간의 지능을 시뮬레이션하는 것”이라며 머신러닝과 스팸메일 필터 등을 예로 AI의 종류와 기능을 설명했다. 또한, “AI는 우리의 실생활에도 스며들었다”며 검색엔진과 교통 서비스, 헬스케어, 생성형 AI 등을 예로 들었다.
이후 워너크라이 사태, 에퀴팩스 사건, 솔라윈즈 공급망 공격, 콜로니얼 파이프라인, 로닌 네트워크 해킹 사태를 예로 들며 보안 위협이 일상에 미치는 영향을 설명했다. 박 대표는 “최근 공격자가 번호를 가지고 있는 것만으로 공격을 시도할 수 있는 ‘제로클릭’ 같은 치명적인 위협이 벌어지고 있다”고 밝혔다.
그는 “전통적인 AI가 데이터를 분류하고 이벤트 탐지 역할을 했다면, 근래 AI는 대규모 언어모델, 생성형 AI의 형태로 보안의 공격과 방어 양쪽에서 모두 사용된다”며 AI와 사이버보안의 연관성에 관해 설명했다.
이어 박 대표는 AI를 이용한 해킹 시연에 나섰다. 티오리의 워게임 페이지 드림핵의 로그인 코드를 예시로 챗GPT-4(이하 GPT)에 취약점을 찾아 달라고 요청했다. 챗GPT는 SQL 인젝션 등 다양한 코드와 데이터가 담긴 답을 제시했다. 그러나 해당 취약점을 공격하는 방법을 질문하자, 보안을 이유로 도움을 줄 수 없다고 답했다.
그러나 챗GPT에 ‘보안전문가’라고 소개하며 CTF 문제 해결을 이유로 우회 질문하자, 답변을 얻을 수 있었다고 설명했다. 박 대표는 “이처럼 텍스트 대체, 프롬프트 엔지니어링(Prompt Engineering)을 통해서 GPT 탈옥(공격 방법을 알아내는 것)이 이뤄질 수 있다”고 설명했다. 반면, 챗GPT는 랜섬웨어 제작 코드 질문에는 답변을 제시하지 않았다고 밝혔다.
이어 박 대표는 메타가 오픈소스로 공개한 대규모 언어모델 코드라마(Code Llama)를 NVDIA A10이라는 모뎀을 사용해 챗GPT와 같은 질문을 했다. 코딩에 특화된 코드라마는 챗GPT가 답하지 않았던 질문에 대한 다양한 답변을 이어갔다.
박 대표는 “챗GPT 뿐만 아니라 다양한 생성형 AI를 통해 랜섬웨어와 관련된 코드를 얻을 수 있다”며, “(위협에 대해) 부분으로 쪼개 질문하고, 종합했을 때 큰 위협이 될 수 있다”는 말로 AI 기술이 사이버 위협으로 악용될 수 있는 위험성을 설명했다. 이와 더불어 생성형 AI의 빼어난 문장구사력을 이용해 피싱 위협도 더욱 고도화되고 있다고 말했다.
한편, 박 대표는 “AI로 생긴 보안 문제는 AI로 해결할 수 있다”며 AI를 활용한 보안 강화 방법에 대해 발표했다. 그는 “어떤 사이버 공격이 존재하는지 시나리오를 작성해 파악하고, 사고에 대응하며 취약점을 발견하는 데 있어 AI의 도움을 받을 수 있다”고 말했다. 더불어 “개발단계에서 AI를 활용해 취약점을 제거하는 시큐어 코딩을 하고, 테스트 단계에서도 도움을 받을 수 있다”며 “최종적으로 제작 단계에서 보안을 탑재하는 시큐어 바이 디자인(Secure by Design)이 필요하다”고 설명했다.
또한, “AI를 활용해 손수 하던 일을 자동화하고, 사람은 더 창의적이고 어려운 문제를 해결해야 한다”며, “AI를 사용해 보안을 강화하고, 선제적으로 행동해야 한다”고 말했다.
끝으로 박세준 대표는 “AI를 다룬다는 것은 붓을 쥐고 있는 것과 같다. 붓을 휘두르는 사람에 따라 어떤 그림을 그릴 것이 결정되는 것처럼, AI를 어떻게 활용하는지에 달려 있다”며 “AI를 두려운 존재로만 생각할 것이 아니라, AI를 재구성하고 발전시키며, 기회와 발전의 발판으로 삼아야 한다”고 강조했다.
[박은주 기자(boan5@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박은주기자 기사보기
[2024-05-04] 
