_m.jpg)
회피 공격, 모델 탈취 공격, 중독 공격...법적 시스템 부족으로 방어가 애매
입법 절차의 가속화는 아직 바라기에 일러...머신러닝에 대한 법계의 관심 필요
[보안뉴스 문가용 기자] 기업들 사이에서 머신러닝 시스템의 도입이 빠르게 증가하고 있다. 사이버 범죄자들은 이 머신러닝마저 침해하기 위한 노력에 박차를 가하고 있다. 그런데 머신러닝 시스템의 침해를 가능케 하는 건 머신러닝과 관련된 규정과 정책이라는 지적이 지난 주 열린 RSAC에서 나왔다. 보다 정확히 말하자면, 머신러닝과 관련된 규정과 정책이 부족한 게 가장 큰 문제라고 한다.
RSAC 컨퍼런스에서 패널 토론회 방식으로 진행된 ‘머신러닝의 규정 부족’ 문제 관련 세션에서 마이크로소프트의 AGC인 크리스틴 구드윈(Cristin Goodwin)은 “머신러닝과 관련된 판례는 미국 사법 시스템 기준으로 52개이 불과하다”며 “그나마도 대부분은 특허 분쟁과 관련된 것”이었다고 말했다. “판례가 너무 적어 사실상 머신러닝에 대한 사이버 공격에 법적으로 대응할 준비가 갖춰져 있지 않다고 봐도 무방합니다. 그것이 지금 머신러닝 공격 대응책에 있어서 가장 부족한 부분입니다.”
고소와 재판의 나라라는 미국에서조차 판례가 적은 건 왜일까? “사이버 보안과 관련된 규정 중 가장 중요한 건 ‘컴퓨터 사기 및 남용에 관한 법’과 ‘전자 통신 프라이버시 법’입니다. 그런데 이 두 가지에는 머신러닝 공격에 관한 내용이 거의 없습니다. 즉 법적 사건이 이뤄질 근간이 부족했던 것이죠. 법적 형벌이 갖는 억제력이 머신러닝이라는 분야에서는 발휘되지 않는다는 듯입니다. 겨우 저작권과 같은 특허 문제에나 조금 법적 장치가 있을 뿐입니다.”
그렇다는 건 머신러닝을 도입하는 조직들을 위한 법적 보호 장치가 없다는 뜻도 된다. 아이러니한 현상이다. 점점 더 많은 기업들이 머신러닝에 의존해 서비스를 출시하고 있기 때문이다. 무인 자동차, 무인 보안, 무인 매장 등 혁신이라고 손꼽히는 기술들의 대부분 머신러닝을 기반으로 하고 있다. 그런데 법적 장치가 없다시피 하니, 전문가들의 걱정이 클 수밖에 없다.
패널 중 한 명이었던 아스펜 테크 폴리시 허브(Aspen Tech Policy Hub)의 국장인 벳시 쿠퍼(Betsy Cooper)는 “정책 매커니즘 자체가 새로워져야 한다”고 주장했다. “법이 통과되는 절차가 좀 더 유연해져야 합니다. 현재의 입법 과정은 새로운 기술의 등장을 크게 고려치 않은 상태에서 만들어졌습니다. 게다가 오늘날처럼 무서운 속도로 등장하는 새로운 기술이라면 수용할 수가 없지요. 지금은 머신러닝에 대한 규정이 부족하다는 게 문제가 되고 있지만, 앞으로 각종 신기술들에서도 같은 소리가 나올 겁니다. 지금 여기 회의에서 논의되고 있는 건 빙산의 일각일 뿐입니다.”
패널들은 머신 러닝을 겨냥한 공격의 세 가지 종류를 분석하기도 했다. 이 세 가지 모두 법적인 장치를 마련하기 힘들다는 특징을 가지고 있다. 첫 번째는 ‘회피 공격(evasion attack)’이다. 공격자가 그림을 업로드 하기 전에 픽셀 일부를 조작하고, 그럼으로써 얼굴 인식 알고리즘이 결과를 낼 수 없도록 하는 것이다. 이는 스팸 이메일의 콘텐츠를 검사하는 머신러닝 알고리즘을 농락하는 데 활용될 수 있다고 한다.
그 다음은 모델 탈취 공격(model stealing attack)이다. 구글 번역기와 같은 머신러닝 모델에 요청을 보내 그 작동 방식을 추론한 후, 그 정보를 사용해 자신만의 모델을 구축하는 것이다. 이는 중대 사이버 범죄보다는 저작권 혹은 특허 쪽 분쟁을 일으킬 소지가 큰 요소가 된다. 사이버 범죄자들의 경우, 공략하려는 머신러닝을 분석할 때 이러한 공격 기법을 사용할 수 있게 된다.
세 번째는 ‘중독 공격(poisoning attack)’이다. 이 역시 흔히 나타나는 머신러닝 관련 위협으로, 알고리즘이 데이터를 계속해서 주입 받아 훈련을 받고 있는 과정 중에 입력값을 조작함으로써 결과를 망쳐놓는 방식이다. 머신러닝이 뭔가를 잘못 배우도록 유도할 수 있게 된다.
이 세 가지 공격에 대한 법적 보호 장치가 없는 상황이라서 보안에는 어떤 어려움이 생길까? 예를 들어 회피 공격의 경우, 누군가 픽셀 일부를 장난스럽게 편집한 것인지 악의적으로 조작한 것인지 판단할 수 없게 된다. 픽셀 수정에 대한 법적 기준이 없기 때문에 악성 의도를 가진 자도 장난이었다고 주장하면 된다. 구글 브레인(Google Brain) 소속 니콜라스 칼리니(Nicholas Carlini)는 토론회에서 “심지어 조작 여부를 판단하는 것부터가 어려운 일”이라고 덧붙였다.
또한 해커가 악성 공격을 한 것인지 아닌지를 구분하는 것도 문제가 된다. 예를 들어 모델 탈취 공격의 경우, 공격자는 여러 가지 요청을 알고리즘으로 보내 작동 방식을 추측한다. 그러나 요청을 보내는 것 자체는 악성 행위가 아니다. 즉, 어떤 요청은 악성이고, 어떤 요청은 악성이 아닌지 구분할 기준이 없다는 것이다. “구글 번역기에 요청을 보내는 것만으로 그 사람에게 벌을 내리거나 할 수 없죠. 그 사람이 악의적인 의도를 가지고 있다고 하더라도요.”
결국 법률 전문가들은 “행위자의 진정한 의도를 법적으로 규정할 수 있는 장치가 필요하고, 더 나아가 그 의도란 것이 범죄성과 연관이 있는지도 파악할 수 있어야 한다”고 말한다. “행위의 배경에 있는 요소들을 파악하는 게 중요해질 것으로 보입니다. 예를 들어 악성 행위를 한 번 해본 전적이 있는 자라면, 애매한 행위를 했다고 하더라도 그 의도를 어느 정도 파악할 수 있겠죠.”
구드윈은 “머신러닝 알고리즘을 서비스로 고객에게 제공하는 기업이라면 약관 등을 개정할 필요가 있다”고 강조했다. “특히 리스크 프로파일링을 하는 방향으로 전환하는 것이 도움이 될 것입니다. 그렇게 되면 지금 당장 규정이 없는 상태에서도 최소한의 근거는 완성되는 것이니까요.”
패널들은 “아직 규정이 없다는 부분에서 활용 가능한 머신러닝 공격 기술을 법적으로 차단하거나 와해하려면 아직 먼 길을 가야 할 거 같다”는 데에 동의했다. 정부가 특히 중요한 역할을 해야 한다는 데에도 입을 모았다. 쿠퍼는 “의회에서의 움직임은 너무나 느리다”며 “앞으로도 속도에 있어서는 개선을 기대하기 힘들 것”이라고 말했다. “금융 기술 분야에서 사용하는 것과 비슷한 규제 샌드박스라는 것이 법률 시스템에도 마련되어야 합니다.”
구드윈은 “머신러닝에 대한 관심이 법률 전문가와 입법자들 사이에서 더 높아지길 기대한다”며 “앞으로 갈 길이 멀겠지만, 지금은 그 길을 하나하나 밟아가는 게 가장 빠른 길”이라고 강조했다. “법은 사회의 가장 아래쪽에서 모든 것을 떠받들고 있는 기반입니다. 머신러닝도 사회 현상의 일부이고요. 법률 전문가들의 관심이 필요합니다.”
3줄 요약
1. 머신러닝, 공격할 방법은 계속 생기는데 법적 보호 장치는 없는 수준.
2. 법적 보호 장치 마련의 핵심은 행위에 대한 의도를 파악하는 것.
3. 머신러닝도 사회 현상...법률 전문가들과 입법자들의 관심 필요.
[국제부 문가용 기자(globoan@boannews.com)]
입법 절차의 가속화는 아직 바라기에 일러...머신러닝에 대한 법계의 관심 필요
[보안뉴스 문가용 기자] 기업들 사이에서 머신러닝 시스템의 도입이 빠르게 증가하고 있다. 사이버 범죄자들은 이 머신러닝마저 침해하기 위한 노력에 박차를 가하고 있다. 그런데 머신러닝 시스템의 침해를 가능케 하는 건 머신러닝과 관련된 규정과 정책이라는 지적이 지난 주 열린 RSAC에서 나왔다. 보다 정확히 말하자면, 머신러닝과 관련된 규정과 정책이 부족한 게 가장 큰 문제라고 한다.
[이미지 = iclickart]
RSAC 컨퍼런스에서 패널 토론회 방식으로 진행된 ‘머신러닝의 규정 부족’ 문제 관련 세션에서 마이크로소프트의 AGC인 크리스틴 구드윈(Cristin Goodwin)은 “머신러닝과 관련된 판례는 미국 사법 시스템 기준으로 52개이 불과하다”며 “그나마도 대부분은 특허 분쟁과 관련된 것”이었다고 말했다. “판례가 너무 적어 사실상 머신러닝에 대한 사이버 공격에 법적으로 대응할 준비가 갖춰져 있지 않다고 봐도 무방합니다. 그것이 지금 머신러닝 공격 대응책에 있어서 가장 부족한 부분입니다.”
고소와 재판의 나라라는 미국에서조차 판례가 적은 건 왜일까? “사이버 보안과 관련된 규정 중 가장 중요한 건 ‘컴퓨터 사기 및 남용에 관한 법’과 ‘전자 통신 프라이버시 법’입니다. 그런데 이 두 가지에는 머신러닝 공격에 관한 내용이 거의 없습니다. 즉 법적 사건이 이뤄질 근간이 부족했던 것이죠. 법적 형벌이 갖는 억제력이 머신러닝이라는 분야에서는 발휘되지 않는다는 듯입니다. 겨우 저작권과 같은 특허 문제에나 조금 법적 장치가 있을 뿐입니다.”
그렇다는 건 머신러닝을 도입하는 조직들을 위한 법적 보호 장치가 없다는 뜻도 된다. 아이러니한 현상이다. 점점 더 많은 기업들이 머신러닝에 의존해 서비스를 출시하고 있기 때문이다. 무인 자동차, 무인 보안, 무인 매장 등 혁신이라고 손꼽히는 기술들의 대부분 머신러닝을 기반으로 하고 있다. 그런데 법적 장치가 없다시피 하니, 전문가들의 걱정이 클 수밖에 없다.
패널 중 한 명이었던 아스펜 테크 폴리시 허브(Aspen Tech Policy Hub)의 국장인 벳시 쿠퍼(Betsy Cooper)는 “정책 매커니즘 자체가 새로워져야 한다”고 주장했다. “법이 통과되는 절차가 좀 더 유연해져야 합니다. 현재의 입법 과정은 새로운 기술의 등장을 크게 고려치 않은 상태에서 만들어졌습니다. 게다가 오늘날처럼 무서운 속도로 등장하는 새로운 기술이라면 수용할 수가 없지요. 지금은 머신러닝에 대한 규정이 부족하다는 게 문제가 되고 있지만, 앞으로 각종 신기술들에서도 같은 소리가 나올 겁니다. 지금 여기 회의에서 논의되고 있는 건 빙산의 일각일 뿐입니다.”
패널들은 머신 러닝을 겨냥한 공격의 세 가지 종류를 분석하기도 했다. 이 세 가지 모두 법적인 장치를 마련하기 힘들다는 특징을 가지고 있다. 첫 번째는 ‘회피 공격(evasion attack)’이다. 공격자가 그림을 업로드 하기 전에 픽셀 일부를 조작하고, 그럼으로써 얼굴 인식 알고리즘이 결과를 낼 수 없도록 하는 것이다. 이는 스팸 이메일의 콘텐츠를 검사하는 머신러닝 알고리즘을 농락하는 데 활용될 수 있다고 한다.
그 다음은 모델 탈취 공격(model stealing attack)이다. 구글 번역기와 같은 머신러닝 모델에 요청을 보내 그 작동 방식을 추론한 후, 그 정보를 사용해 자신만의 모델을 구축하는 것이다. 이는 중대 사이버 범죄보다는 저작권 혹은 특허 쪽 분쟁을 일으킬 소지가 큰 요소가 된다. 사이버 범죄자들의 경우, 공략하려는 머신러닝을 분석할 때 이러한 공격 기법을 사용할 수 있게 된다.
세 번째는 ‘중독 공격(poisoning attack)’이다. 이 역시 흔히 나타나는 머신러닝 관련 위협으로, 알고리즘이 데이터를 계속해서 주입 받아 훈련을 받고 있는 과정 중에 입력값을 조작함으로써 결과를 망쳐놓는 방식이다. 머신러닝이 뭔가를 잘못 배우도록 유도할 수 있게 된다.
이 세 가지 공격에 대한 법적 보호 장치가 없는 상황이라서 보안에는 어떤 어려움이 생길까? 예를 들어 회피 공격의 경우, 누군가 픽셀 일부를 장난스럽게 편집한 것인지 악의적으로 조작한 것인지 판단할 수 없게 된다. 픽셀 수정에 대한 법적 기준이 없기 때문에 악성 의도를 가진 자도 장난이었다고 주장하면 된다. 구글 브레인(Google Brain) 소속 니콜라스 칼리니(Nicholas Carlini)는 토론회에서 “심지어 조작 여부를 판단하는 것부터가 어려운 일”이라고 덧붙였다.
또한 해커가 악성 공격을 한 것인지 아닌지를 구분하는 것도 문제가 된다. 예를 들어 모델 탈취 공격의 경우, 공격자는 여러 가지 요청을 알고리즘으로 보내 작동 방식을 추측한다. 그러나 요청을 보내는 것 자체는 악성 행위가 아니다. 즉, 어떤 요청은 악성이고, 어떤 요청은 악성이 아닌지 구분할 기준이 없다는 것이다. “구글 번역기에 요청을 보내는 것만으로 그 사람에게 벌을 내리거나 할 수 없죠. 그 사람이 악의적인 의도를 가지고 있다고 하더라도요.”
결국 법률 전문가들은 “행위자의 진정한 의도를 법적으로 규정할 수 있는 장치가 필요하고, 더 나아가 그 의도란 것이 범죄성과 연관이 있는지도 파악할 수 있어야 한다”고 말한다. “행위의 배경에 있는 요소들을 파악하는 게 중요해질 것으로 보입니다. 예를 들어 악성 행위를 한 번 해본 전적이 있는 자라면, 애매한 행위를 했다고 하더라도 그 의도를 어느 정도 파악할 수 있겠죠.”
구드윈은 “머신러닝 알고리즘을 서비스로 고객에게 제공하는 기업이라면 약관 등을 개정할 필요가 있다”고 강조했다. “특히 리스크 프로파일링을 하는 방향으로 전환하는 것이 도움이 될 것입니다. 그렇게 되면 지금 당장 규정이 없는 상태에서도 최소한의 근거는 완성되는 것이니까요.”
패널들은 “아직 규정이 없다는 부분에서 활용 가능한 머신러닝 공격 기술을 법적으로 차단하거나 와해하려면 아직 먼 길을 가야 할 거 같다”는 데에 동의했다. 정부가 특히 중요한 역할을 해야 한다는 데에도 입을 모았다. 쿠퍼는 “의회에서의 움직임은 너무나 느리다”며 “앞으로도 속도에 있어서는 개선을 기대하기 힘들 것”이라고 말했다. “금융 기술 분야에서 사용하는 것과 비슷한 규제 샌드박스라는 것이 법률 시스템에도 마련되어야 합니다.”
구드윈은 “머신러닝에 대한 관심이 법률 전문가와 입법자들 사이에서 더 높아지길 기대한다”며 “앞으로 갈 길이 멀겠지만, 지금은 그 길을 하나하나 밟아가는 게 가장 빠른 길”이라고 강조했다. “법은 사회의 가장 아래쪽에서 모든 것을 떠받들고 있는 기반입니다. 머신러닝도 사회 현상의 일부이고요. 법률 전문가들의 관심이 필요합니다.”
3줄 요약
1. 머신러닝, 공격할 방법은 계속 생기는데 법적 보호 장치는 없는 수준.
2. 법적 보호 장치 마련의 핵심은 행위에 대한 의도를 파악하는 것.
3. 머신러닝도 사회 현상...법률 전문가들과 입법자들의 관심 필요.
[국제부 문가용 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-04-24] 
.jpg)
