_m.jpg)
생성형 AI 악용에 대응할 수 있는 보안기술 개발 필요
과기정통부, AI 보안위협 R&D 기술개발 논의중...개인정보위, 인공지능프라이버시팀 운영
[보안뉴스 김경애 기자] 2023년 챗GPT의 등장은 생성형 AI 기술 발전에 불을 지폈다. 구글이나 애플 등 빅테크 기업들은 기술 개발과 새로운 제품 출시로 경쟁이 치열하다. 구글은 생성형 AI ‘제미나이’ 출시 일주일 만에 기업용 AI 플랫폼인 ‘버텍스 AI’에 제미나이 프로를 탑재한다고 밝혔다. 애플은 생성형 AI를 AI 음성 비서 시리(Siri)와 메시지(Messages) 등에 탑재할 것이라고 밝혔다. 국내는 양대산맥인 삼성전자와 LG전자가 사용자 생성형 AI를 접목해 생활 패턴을 분석하고 사용자와 대화하는 것을 목표로 ‘가전의 AI’화를 추진 중이다.
하지만 이 모든 기술개발에는 보안이 담보돼야 한다. 과학기술정보통신부는 2024년 사이버 보안 위협 전망으로 생성형 AI를 악용한 사이버 범죄 가능성 증가를 꼽았다. 이미 생성형 AI 보안 위협은 챗GPT 때부터 뜨거웠고, 악성코드 제작, 취약점 발견, 사회공학적 공격, 음성 위변조 등 다양한 보안 위협이 쏟아졌기 때문이다. 최근에는 사용자가 쉽게 속을 수 있도록 이메일 본문 작성과 악성 프로그램 제작 등 생성형 AI 기반의 사이버 범죄 도구가 발견된 바 있다. 게다가 생성형 AI와 AI 대규모 언어 모델(LLM : Large Language Model)을 활용하거나 다크웹을 통한 사이버 범죄 우려도 커지고 있다. 특히 생성형 AI의 경우 생성형 AI가 실제 사용자가 맞는지 개인을 명확히 식별하고 인지할 수 있어야 한다. 즉 사용자에 대한 인증이 매우 중요하다는 얘기다.
그렇다면 국내 상황은 어떨까. 우리나라는 과학기술정보통신부와 개인정보보호위원회에서 AI 관련해 정책·제도 측면에서 개인정보보호와 보안을 강화하고 있다. 과학기술정보통신부의 경우 R&D 과제와 관련해서 현재 국회 예산이 확정되지 않은 상태라 확정되진 않았지만 내년 신규 과제로 생성형 AI 보안위협 대응기술 등에 대해 발굴 및 논의 중에 있다고 밝혔다.
개인정보보호위원회는 안전한 개인정보 활용 측면에서 인공지능프라이버시팀을 신설해 가동하고 있다. 현재 인공지능(AI) 사업자에 대한 법령해석 및 컨설팅 제공, ‘사전적정성 검토’ 등 인공지능(AI) 사업자의 다양한 요청에 대응하고 이해관계를 조율하는 원스톱 창구 역할을 수행하고 있다. 또한, ‘AI 프라이버시 민·관 정책협의회’를 통해 △인공지능(AI) 데이터 처리기준 △리스크 평가 △투명성 확보 등 세부과제를 논의할 계획이다. 또한 실제 현장에서 적용할 수 있는 구체적인 가이드라인으로 2024년 3월 공개된 정보 활용 가이드라인, 2024년 6월 AI 투명성 확보 가이드라인, 2024년 9월 리스크 평가 기준·모델 마련 등을 마련할 계획이다. 또한 국제규범 마련과 글로벌 공조체계 확대를 위해 ‘파리 이니셔티브’(2023년 6월), ‘디지털 권리장전’(2023년 9월)의 기조에 따라 글로벌 AI 규범 논의에 참여, 주요국 개인정보 감독기구 및 사업자와의 소통·협력도 활성화할 계획이다.
전 세계, 워터마크 등 생성형 AI 보안위협 대응 기술 적용
이에 따라 생성형 AI 악용에 대응할 수 있는 보안기술 개발과 필요성이 높아지고 있다. 미리 취약점을 식별하고 대응하기 위한 기술 개발, 생성형 AI 모델의 결과물 식별, 진위여부 판별 기술 등이 필요하다. 이와 관련 미국 바이든 정부를 비롯해 유럽연합, G7의 경우 사전에 AI 안전성 검토로 모든 AI에 워터마킹을 넣을 것을 요구하고 있다. 워터마킹은 일종의 이는 사용자가 어떤 행위를 했는지 다 기록되도록 표시해 검증 및 추적이 가능하다.
이와 관련 서강대학교 메타이노베이션센터 최운호 센터장은 “미국은 AI 규제 강화를 위해 AI 생성 자료에 워터마크 등의 라벨을 붙이도록 표준을 개발할 예정”이라며 “AI가 콘텐츠를 만든 사용자가 진짜인지 해커인지 구별하고, 사용자와 개발자의 여러 생체코드를 워터마킹으로 연결해 각종 홈가전으로 이어준다”고 설명했다.
[김경애 기자(boan3@boannews.com)]
과기정통부, AI 보안위협 R&D 기술개발 논의중...개인정보위, 인공지능프라이버시팀 운영
[보안뉴스 김경애 기자] 2023년 챗GPT의 등장은 생성형 AI 기술 발전에 불을 지폈다. 구글이나 애플 등 빅테크 기업들은 기술 개발과 새로운 제품 출시로 경쟁이 치열하다. 구글은 생성형 AI ‘제미나이’ 출시 일주일 만에 기업용 AI 플랫폼인 ‘버텍스 AI’에 제미나이 프로를 탑재한다고 밝혔다. 애플은 생성형 AI를 AI 음성 비서 시리(Siri)와 메시지(Messages) 등에 탑재할 것이라고 밝혔다. 국내는 양대산맥인 삼성전자와 LG전자가 사용자 생성형 AI를 접목해 생활 패턴을 분석하고 사용자와 대화하는 것을 목표로 ‘가전의 AI’화를 추진 중이다.
[이미지 = gettyimagesbank]
하지만 이 모든 기술개발에는 보안이 담보돼야 한다. 과학기술정보통신부는 2024년 사이버 보안 위협 전망으로 생성형 AI를 악용한 사이버 범죄 가능성 증가를 꼽았다. 이미 생성형 AI 보안 위협은 챗GPT 때부터 뜨거웠고, 악성코드 제작, 취약점 발견, 사회공학적 공격, 음성 위변조 등 다양한 보안 위협이 쏟아졌기 때문이다. 최근에는 사용자가 쉽게 속을 수 있도록 이메일 본문 작성과 악성 프로그램 제작 등 생성형 AI 기반의 사이버 범죄 도구가 발견된 바 있다. 게다가 생성형 AI와 AI 대규모 언어 모델(LLM : Large Language Model)을 활용하거나 다크웹을 통한 사이버 범죄 우려도 커지고 있다. 특히 생성형 AI의 경우 생성형 AI가 실제 사용자가 맞는지 개인을 명확히 식별하고 인지할 수 있어야 한다. 즉 사용자에 대한 인증이 매우 중요하다는 얘기다.
그렇다면 국내 상황은 어떨까. 우리나라는 과학기술정보통신부와 개인정보보호위원회에서 AI 관련해 정책·제도 측면에서 개인정보보호와 보안을 강화하고 있다. 과학기술정보통신부의 경우 R&D 과제와 관련해서 현재 국회 예산이 확정되지 않은 상태라 확정되진 않았지만 내년 신규 과제로 생성형 AI 보안위협 대응기술 등에 대해 발굴 및 논의 중에 있다고 밝혔다.
개인정보보호위원회는 안전한 개인정보 활용 측면에서 인공지능프라이버시팀을 신설해 가동하고 있다. 현재 인공지능(AI) 사업자에 대한 법령해석 및 컨설팅 제공, ‘사전적정성 검토’ 등 인공지능(AI) 사업자의 다양한 요청에 대응하고 이해관계를 조율하는 원스톱 창구 역할을 수행하고 있다. 또한, ‘AI 프라이버시 민·관 정책협의회’를 통해 △인공지능(AI) 데이터 처리기준 △리스크 평가 △투명성 확보 등 세부과제를 논의할 계획이다. 또한 실제 현장에서 적용할 수 있는 구체적인 가이드라인으로 2024년 3월 공개된 정보 활용 가이드라인, 2024년 6월 AI 투명성 확보 가이드라인, 2024년 9월 리스크 평가 기준·모델 마련 등을 마련할 계획이다. 또한 국제규범 마련과 글로벌 공조체계 확대를 위해 ‘파리 이니셔티브’(2023년 6월), ‘디지털 권리장전’(2023년 9월)의 기조에 따라 글로벌 AI 규범 논의에 참여, 주요국 개인정보 감독기구 및 사업자와의 소통·협력도 활성화할 계획이다.
전 세계, 워터마크 등 생성형 AI 보안위협 대응 기술 적용
이에 따라 생성형 AI 악용에 대응할 수 있는 보안기술 개발과 필요성이 높아지고 있다. 미리 취약점을 식별하고 대응하기 위한 기술 개발, 생성형 AI 모델의 결과물 식별, 진위여부 판별 기술 등이 필요하다. 이와 관련 미국 바이든 정부를 비롯해 유럽연합, G7의 경우 사전에 AI 안전성 검토로 모든 AI에 워터마킹을 넣을 것을 요구하고 있다. 워터마킹은 일종의 이는 사용자가 어떤 행위를 했는지 다 기록되도록 표시해 검증 및 추적이 가능하다.
이와 관련 서강대학교 메타이노베이션센터 최운호 센터장은 “미국은 AI 규제 강화를 위해 AI 생성 자료에 워터마크 등의 라벨을 붙이도록 표준을 개발할 예정”이라며 “AI가 콘텐츠를 만든 사용자가 진짜인지 해커인지 구별하고, 사용자와 개발자의 여러 생체코드를 워터마킹으로 연결해 각종 홈가전으로 이어준다”고 설명했다.
[김경애 기자(boan3@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
김경애기자 기사보기
[2024-04-24] .jpg)
.jpg)
