.jpg)
AI 모델 개발 주기, 학습 데이터 수집-데이터 전저리-AI 모델 선택 및 학습-검증 4단계
AI에 내재된 보안 위협인 ‘적대적 공격’...백도어 공격, 회피 공격, 멤버십 유추 공격 등
[보안뉴스 김영명 기자] 최근 인공지능(이하 AI) 기술은 장족의 발전과 함께 다양한 분야에서 널리 활용되고 있다. 하지만 새로운 기술은 긍정적인 영향과 함께 버그, 보안 위협 등 문제도 초래한다. AI에는 어떠한 보안 취약점이 존재할까? 그리고 이러한 취약점을 방어하고 보완하는 방법에는 무엇이 있을지 살펴보자.
카이스트 사이버보안연구센터(CSRC)는 인공지능에 대해 주기별 모델 개발 과정을 살펴보고, 해당 과정에서 발생할 수 있는 다양한 보안 취약점과 함께 대응방안에 대해 세부적으로 연구했다.
AI 모델 개발은 일반적으로 ①학습 데이터 수집 ②데이터 전저리 ③AI 모델 선택 및 학습 ④AI 모델 검증 등 네 단계로 분류할 수 있다. 이를 일반적으로 ‘AI 모델 개발 주기’라 부른다.
첫 번째 단계는 ‘학습 데이터 수집’이다. AI도 양질의 학습을 위해서는 학습 데이터가 있어야 한다. ‘이미지 분류 모델’에는 이미지, ‘챗봇’에는 텍스트 등 적합한 데이터가 필요하다.
두 번째 단계는 ‘데이터 전처리’다. 데이터 전처리는 원재료를 손질하는 것을 의미한다. 이미지는 크기를 조정하거나 픽셀값의 범위를 정하고, 텍스트는 토큰화, 형태소 분리 등을 한다.
세 번째 단계는 ‘AI 모델 선택 및 학습’이다. AI가 학습하려면 특화된 모델(알고리즘)을 선택하는데 ‘AI 모델 선택’이라 한다. AI 모델은 이미지 처리에 특화된 CNN(Convolutional Neural Network), 순열 데이터 처리에 특화된 RNN(Recurrent Neural Network) 등으로 나눈다. 선택된 AI 모델은 학습 데이터 내 통계, 확률, 관계 등 특징을 스스로 찾아 학습한다.
마지막은 ‘AI 모델 검증’이다. AI도 AI 모델이 제대로 학습됐는지 검증해야 한다. 이때 성능이 좋지 못하면 ‘데이터 전처리’나 ‘AI 모델 선택 및 학습’ 단계로 돌아가 재학습시켜야 한다.
인공지능의 보안 취약점과 개선 방안
AI 모델 개발 과정에서 보안 취약점이 발생할 수 있으며, 이때 AI에 내재한 보안 위협을 ‘적대적 공격(Adversarial Attack)’이라고 부른다. 적대적 공격은 대표적으로 △백도어 공격(Backdoor Attack) △회피 공격(Evasion Attack) △멤버십 유추 공격(Membership Inference Attack) 등 세 가지로 분류한다. 각각에 대한 보안 취약점과 이를 방어하기 위한 설명가능한 AI(eXplainable AI, XAI) 기술을 활용한 알고리즘을 살펴본다.
먼저, ‘백도어 공격(Backdoor Attack)’은 데이터 수집과 AI 모델 학습 단계에서 발생하는 취약점이다. 공격자는 ‘트리거(Trigger)’라 불리는 잘못된 데이터를 주입하고, 이를 학습시켜 주입된 데이터를 잘못 분류하도록 하는 공격이다. 정상 데이터로 학습한 AI 모델은 올바르게 분류하지만, 악의적인 이미지를 넣어 학습한 AI 모델은 강아지를 고양이로 분류한다.
백도어 공격을 방어하기 위해 AI 모델은 트리거가 주입된 픽셀을 인식해 결괏값을 도출한다는 점에 착안, XAI 기법 중 Integrated Gradients(IG, 입력 데이터 각각의 특징에 대해 출력에 대한 기여도 점수를 매기는 설명 기법)를 활용해 픽셀 중요도를 정량화했다. 이미지를 분류하는 AI 모델에서 이미지의 중요한 픽셀들을 강조할 수 있다.
트리거가 주입된 픽셀은 AI 모델이 해당 픽셀을 중요하게 판단해 기여도 값이 크다는 가정을 세웠다. 이에 따라 트리거 픽셀에 대한 기여도 값을 모두 더했을 때 정상 이미지는 합이 적었지만, 악의적인 이미지의 경우 트리거로 인해 기여도 합이 높게 나타남을 확인할 수 있었다.
정상 이미지와 노란색 정사각형으로 트리거가 주입된 악의적인 이미지를 IG 기여도로 출력한 결과를 확인했을 때, 정상 이미지와 악의적인 이미지의 기여도 합을 백도어 공격 위험도(Backdoor Risk)로 출력했다. 이때 정상 이미지의 백도어 공격 위험도(그림 속 0)보다 트리거가 주입된 악의적인 이미지의 백도어 공격 위험도(그림 속 5.39985)가 더 높은 게 확인됐다.
두 번째로 ‘회피 공격(Evasion Attack)’은 백도어 공격이 AI 학습 과정에 직접적으로 관여하지 않고 AI 모델을 속이는 공격이다. 이미지를 보면 기본적으로 판다 이미지에 노이즈를 삽입해 변조한 이미지를 나타냈다. 사람의 눈에는 양쪽이 같지만, AI 모델은 왼쪽 판다를 57.7% 확률로 ‘판다(Panda)’로, 오른쪽 판다는 99.3% 확률로 ‘긴팔원숭이(Gibbon)’로 분류한다. 회피 공격을 방어·보완하기 위해 XAI 기법 중 Saliency Map을 활용해 픽셀의 중요도를 정량화했다. Saliency Map은 Integrated Gradients와 비슷한 방식으로 기여도 점수를 할당한다. 여기에서 악의적인 이미지는 복구한 재구성이 달라 오차 값도 컸다.
세 번째로 ‘멤버십 유추 공격(Membership Inference Attack)’은 특정 데이터가 학습 데이터에 포함 여부를 유추하는 공격이다. 입력된 데이터가 AI 모델 학습 과정에서 사용된 데이터라면 AI가 예측한 오차 값이 작고, 처음 접하는 데이터라면 클 거라는 데서 착안한 공격이다. 이를 방어하는 방법은 IG를 활용해 픽셀 중요도를 정량화하는 것이다. 학습 데이터의 기여도와 학습에 사용하지 않은 데이터의 기여도 분포가 다르다는 가정을 세웠다. 멤버십 유추 공격에 취약하지 않은 이미지는 확률값이 낮지만, 취약한 이미지는 확률값이 높았다.
카이스트 CSRC 관계자는 “AI 취약점은 이외에도 모델 전도 공격, 모델 추출 공격 등 다양하다”며 “이러한 문제점을 해결하기 위해서는 지속적이고 깊이 있는 AI 보안 연구가 필요하다”고 밝혔다.
[김영명 기자(boan@boannews.com)]
AI에 내재된 보안 위협인 ‘적대적 공격’...백도어 공격, 회피 공격, 멤버십 유추 공격 등
[보안뉴스 김영명 기자] 최근 인공지능(이하 AI) 기술은 장족의 발전과 함께 다양한 분야에서 널리 활용되고 있다. 하지만 새로운 기술은 긍정적인 영향과 함께 버그, 보안 위협 등 문제도 초래한다. AI에는 어떠한 보안 취약점이 존재할까? 그리고 이러한 취약점을 방어하고 보완하는 방법에는 무엇이 있을지 살펴보자.
[이미지=gettyimagesbank]
카이스트 사이버보안연구센터(CSRC)는 인공지능에 대해 주기별 모델 개발 과정을 살펴보고, 해당 과정에서 발생할 수 있는 다양한 보안 취약점과 함께 대응방안에 대해 세부적으로 연구했다.
AI 모델 개발은 일반적으로 ①학습 데이터 수집 ②데이터 전저리 ③AI 모델 선택 및 학습 ④AI 모델 검증 등 네 단계로 분류할 수 있다. 이를 일반적으로 ‘AI 모델 개발 주기’라 부른다.
첫 번째 단계는 ‘학습 데이터 수집’이다. AI도 양질의 학습을 위해서는 학습 데이터가 있어야 한다. ‘이미지 분류 모델’에는 이미지, ‘챗봇’에는 텍스트 등 적합한 데이터가 필요하다.
두 번째 단계는 ‘데이터 전처리’다. 데이터 전처리는 원재료를 손질하는 것을 의미한다. 이미지는 크기를 조정하거나 픽셀값의 범위를 정하고, 텍스트는 토큰화, 형태소 분리 등을 한다.
세 번째 단계는 ‘AI 모델 선택 및 학습’이다. AI가 학습하려면 특화된 모델(알고리즘)을 선택하는데 ‘AI 모델 선택’이라 한다. AI 모델은 이미지 처리에 특화된 CNN(Convolutional Neural Network), 순열 데이터 처리에 특화된 RNN(Recurrent Neural Network) 등으로 나눈다. 선택된 AI 모델은 학습 데이터 내 통계, 확률, 관계 등 특징을 스스로 찾아 학습한다.
마지막은 ‘AI 모델 검증’이다. AI도 AI 모델이 제대로 학습됐는지 검증해야 한다. 이때 성능이 좋지 못하면 ‘데이터 전처리’나 ‘AI 모델 선택 및 학습’ 단계로 돌아가 재학습시켜야 한다.
인공지능의 보안 취약점과 개선 방안
AI 모델 개발 과정에서 보안 취약점이 발생할 수 있으며, 이때 AI에 내재한 보안 위협을 ‘적대적 공격(Adversarial Attack)’이라고 부른다. 적대적 공격은 대표적으로 △백도어 공격(Backdoor Attack) △회피 공격(Evasion Attack) △멤버십 유추 공격(Membership Inference Attack) 등 세 가지로 분류한다. 각각에 대한 보안 취약점과 이를 방어하기 위한 설명가능한 AI(eXplainable AI, XAI) 기술을 활용한 알고리즘을 살펴본다.
▲백도어 공격 보안 취약점[자료=카이스트 CSRC]
먼저, ‘백도어 공격(Backdoor Attack)’은 데이터 수집과 AI 모델 학습 단계에서 발생하는 취약점이다. 공격자는 ‘트리거(Trigger)’라 불리는 잘못된 데이터를 주입하고, 이를 학습시켜 주입된 데이터를 잘못 분류하도록 하는 공격이다. 정상 데이터로 학습한 AI 모델은 올바르게 분류하지만, 악의적인 이미지를 넣어 학습한 AI 모델은 강아지를 고양이로 분류한다.
백도어 공격을 방어하기 위해 AI 모델은 트리거가 주입된 픽셀을 인식해 결괏값을 도출한다는 점에 착안, XAI 기법 중 Integrated Gradients(IG, 입력 데이터 각각의 특징에 대해 출력에 대한 기여도 점수를 매기는 설명 기법)를 활용해 픽셀 중요도를 정량화했다. 이미지를 분류하는 AI 모델에서 이미지의 중요한 픽셀들을 강조할 수 있다.
트리거가 주입된 픽셀은 AI 모델이 해당 픽셀을 중요하게 판단해 기여도 값이 크다는 가정을 세웠다. 이에 따라 트리거 픽셀에 대한 기여도 값을 모두 더했을 때 정상 이미지는 합이 적었지만, 악의적인 이미지의 경우 트리거로 인해 기여도 합이 높게 나타남을 확인할 수 있었다.
정상 이미지와 노란색 정사각형으로 트리거가 주입된 악의적인 이미지를 IG 기여도로 출력한 결과를 확인했을 때, 정상 이미지와 악의적인 이미지의 기여도 합을 백도어 공격 위험도(Backdoor Risk)로 출력했다. 이때 정상 이미지의 백도어 공격 위험도(그림 속 0)보다 트리거가 주입된 악의적인 이미지의 백도어 공격 위험도(그림 속 5.39985)가 더 높은 게 확인됐다.
▲회피 공격 보안 취약점[자료=카이스트 CSRC]
두 번째로 ‘회피 공격(Evasion Attack)’은 백도어 공격이 AI 학습 과정에 직접적으로 관여하지 않고 AI 모델을 속이는 공격이다. 이미지를 보면 기본적으로 판다 이미지에 노이즈를 삽입해 변조한 이미지를 나타냈다. 사람의 눈에는 양쪽이 같지만, AI 모델은 왼쪽 판다를 57.7% 확률로 ‘판다(Panda)’로, 오른쪽 판다는 99.3% 확률로 ‘긴팔원숭이(Gibbon)’로 분류한다. 회피 공격을 방어·보완하기 위해 XAI 기법 중 Saliency Map을 활용해 픽셀의 중요도를 정량화했다. Saliency Map은 Integrated Gradients와 비슷한 방식으로 기여도 점수를 할당한다. 여기에서 악의적인 이미지는 복구한 재구성이 달라 오차 값도 컸다.
▲멤버십 유추 공격 보안 취약점[자료=카이스트 CSRC]
세 번째로 ‘멤버십 유추 공격(Membership Inference Attack)’은 특정 데이터가 학습 데이터에 포함 여부를 유추하는 공격이다. 입력된 데이터가 AI 모델 학습 과정에서 사용된 데이터라면 AI가 예측한 오차 값이 작고, 처음 접하는 데이터라면 클 거라는 데서 착안한 공격이다. 이를 방어하는 방법은 IG를 활용해 픽셀 중요도를 정량화하는 것이다. 학습 데이터의 기여도와 학습에 사용하지 않은 데이터의 기여도 분포가 다르다는 가정을 세웠다. 멤버십 유추 공격에 취약하지 않은 이미지는 확률값이 낮지만, 취약한 이미지는 확률값이 높았다.
카이스트 CSRC 관계자는 “AI 취약점은 이외에도 모델 전도 공격, 모델 추출 공격 등 다양하다”며 “이러한 문제점을 해결하기 위해서는 지속적이고 깊이 있는 AI 보안 연구가 필요하다”고 밝혔다.
[김영명 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김영명기자 기사보기
[2024-04-24] 
_m.jpg)
.jpg)
.jpg)
