.jpg)
_ALTools_AIRemoveBG.png){kind=spacer}
.jpg)
‘AI 거버넌스’와 ‘AI 보안 거버넌스’가 필요한 이유
[연재목차 Part 2. AI 시대 보안 패러다임]
1. AI 시대의 그림자, ‘딥페이크 사기’를 경계하라
2. AI 시대, 번아웃 관리
3. AI 편향과 공정성, 보안에서 무엇이 다른가
4. 설명가능 AI와 인간의 최종 판단
5. AI도 인간과 닮았다
6. AI, ‘안전’과 ‘보안’의 경계를 허물다
7. AI 도입의 딜레마: 혁신의 속도와 리스크의 균형
8. AI라는 ‘양날의 검’, 두 개의 거버넌스로 통제하라
9. 살아있는 AI 보안 거버넌스 구축
10. AI 보안의 새로운 지평_AI-SPM
11. AI 시스템 새로운 위험분석_STPA
12. 에이전트 AI 보안_GPS 전략
13. 에이전트 AI 시대_인간 중심 통제 설계
14. AI와 인간의 동맹_협업모델
15. AI, 보안문화를 재정의하다
[보안뉴스=김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장] 생성형 AI가 촉발한 거대한 물결이 세계 산업 지형을 뿌리부터 뒤흔들고 있습니다. 수많은 기업이 생산성 혁신과 새로운 비즈니스 모델 창출이라는 달콤한 열매를 선점하기 위해 전력질주하고 있습니다. 그러나 이 눈부신 기술 발전의 이면에는 조직이 미처 대비하지 못한 어두운 그림자가 짙게 드리워져 있습니다.
최근 정보보호포럼(ISF)이 발표한 보고서에 따르면, AI를 도입한 조직의 절반 이상이 최소한의 보안 거버넌스조차 갖추지 못한 것으로 나타났습니다. 이는 단순한 기술적 준비 부족을 넘어, AI라는 거대한 ‘사회·기술 시스템’(Socio-techno System)을 다루는 경영 철학과 원칙의 부재를 여실히 드러내는 지표입니다.
경영진이 직시해야 할 AI 시대의 시스템 리스크
과거의 보안이 명확한 경계를 가진 성벽을 지키는 일이었다면, 오늘날의 AI 보안은 법률, 경제, 문화, 신뢰가 복잡하게 얽힌 도시 생태계 전체를 관리하는 것과 같습니다. AI 리스크는 단순한 기술적 오류를 넘어 기업의 존폐와 사회 안정을 위협하는 시스템 리스크로 진화하고 있습니다. ISF 보고서가 제시한 13가지 위험들은 크게 네 가지 차원으로 나눌 수 있습니다.
먼저 ‘규제와 지정학’이라는 외부 환경의 불확실성입니다. EU ‘AI 법’과 미국 ‘NIST AI 리스크 관리 프레임워크’처럼 각국 규제가 달라 글로벌 기업의 준수 부담이 커집니다. AI 패권 경쟁은 공급망 리스크를 키우고, 핵심 인프라에 대한 사이버 공격은 국가 안보 수준으로 격상됐습니다.
다음으로 ‘기술적 취약성’입니다. 데이터 포이즈닝·프롬프트 인젝션과 같은 적대적 공격은 더욱 정교해져, 작은 침투만으로도 시스템 전체를 마비시킬 수 있습니다.
‘데이터 신뢰의 위기’도 심각합니다. AI의 ‘블랙박스’ 문제와 프라이버시 침해는 기업에 대한 고객과 시장의 신뢰를 무너뜨리는 치명적인 요인입니다.
마지막으로 ‘인간과 프로세스의 허점’도 간과할 수 없습니다. 통제되지 않은 ‘섀도우 AI’(Shadow AI)의 사용은 예측 불가능한 보안 구멍을 만들며, 고도화되는 AI 악용 범죄에 대한 대응 체계는 여전히 미흡합니다.
결국 이 모든 위험을 통제하고 거버넌스를 바로 세우는 것은 온전히 인간과 조직의 몫입니다.
가치 창출과 보호를 위한 두 지휘 본부의 역할
복잡한 위험을 해결할 열쇠는 결국 ‘거버넌스’에 있습니다. 하지만 많은 리더가 거버넌스를 단일한 개념으로 오인하는 함정에 빠지곤 합니다. 거버넌스의 본질은 ‘지시’(Direct)와 ‘통제’(Control)의 균형에 있으며, 지시는 가치 창출(What)을, 통제는 가치 보호(How)를 담당합니다. 목적 없는 질주가 폭주라면, 안전장치 없는 가속은 사고로 이어질 뿐입니다.
성공적인 AI 도입을 위해서는 ‘일반 AI 거버넌스’와 ‘AI 보안 거버넌스’라는 두 개의 지휘 본부가 필요합니다.
①일반 AI 거버넌스: 이 거버넌스는 AI가 나아가야 할 방향과 최고 원칙을 세우는 역할을 합니다. “AI는 인간 가치를 존중하고, 공정하며 투명해야 한다”는 대원칙 하에 편향성, 프라이버시 침해, 법규 위반과 같은 윤리적·법적 리스크를 통제합니다. 여기에는 주로 법무, 컴플라이언스, AI 윤리 위원회, 그리고 최고 경영진(C-Suite)이 참여해 조직의 철학을 정립합니다.
②AI 보안 거버넌스: AI라는 전략 자산을 적대적 환경으로부터 보호하기 위한 실전형 지휘 본부입니다. “모든 AI 모델은 외부의 탈취 시도로부터 보호되어야 한다”는 구체적인 지시를 내리고, 모델 해킹이나 데이터 유출과 같은 사이버 보안 리스크를 직접적으로 통제합니다. CISO를 필두로 보안팀, AI 위험 분석가, MLOps 엔지니어 등이 참여하여 기술적 방어선을 구축합니다.
통합 거버넌스 구축 전략
헌법만으로 전쟁에서 승리할 수 없듯, 작전 계획만으로 국가의 기틀을 바로 세울 수 없습니다. 마찬가지로, ‘공정한 AI’를 만들자는 윤리적 선언(일반 거버넌스)만으로 해커의 모델 탈취 공격을 막을 수는 없습니다. 반대로, 아무리 견고한 방어 체계(보안 거버넌스)를 갖추었더라도, 그 AI가 특정 고객을 차별한다면 조직은 더 큰 위기에 직면할 것입니다.
가장 이상적인 구조는 두 지휘 본부가 유기적으로 협력하는 것입니다. 전사적 AI 거버넌스 위원회 산하에 보안 전담 소위원회를 두거나, AI 활용도가 높은 산업군에서는 AI 보안 거버넌스를 구현하여 우선적으로 리스크를 선제적으로 방어하는 방안을 고려해야 합니다.
지금 경영진에게 필요한 것은 기술에 대한 막연한 두려움이 아니라, 기술을 안전하게 통제하고 활용할 수 있는 명확한 거버넌스 체계입니다. 두 개의 거버넌스가 조화를 이룰 때, 비로소 AI는 위험한 도구가 아닌 혁신의 강력한 무기가 될 것입니다.
[글_ 김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장]
필자 소개_ 중앙대학교 산업보안학과 명예교수, 인간중심보안포럼 의장, 한국정보보호학회 부회장, 금융 정보보호관리체계 인증위원, 전 JTC1 SC27 정보보안 국제표준화 전문위 의장 및 의원, 전 ISO 27014(정보보안 거버넌스) 에디터 등 역임
[연재목차 Part 2. AI 시대 보안 패러다임]
1. AI 시대의 그림자, ‘딥페이크 사기’를 경계하라
2. AI 시대, 번아웃 관리
3. AI 편향과 공정성, 보안에서 무엇이 다른가
4. 설명가능 AI와 인간의 최종 판단
5. AI도 인간과 닮았다
6. AI, ‘안전’과 ‘보안’의 경계를 허물다
7. AI 도입의 딜레마: 혁신의 속도와 리스크의 균형
8. AI라는 ‘양날의 검’, 두 개의 거버넌스로 통제하라
9. 살아있는 AI 보안 거버넌스 구축
10. AI 보안의 새로운 지평_AI-SPM
11. AI 시스템 새로운 위험분석_STPA
12. 에이전트 AI 보안_GPS 전략
13. 에이전트 AI 시대_인간 중심 통제 설계
14. AI와 인간의 동맹_협업모델
15. AI, 보안문화를 재정의하다
[보안뉴스=김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장] 생성형 AI가 촉발한 거대한 물결이 세계 산업 지형을 뿌리부터 뒤흔들고 있습니다. 수많은 기업이 생산성 혁신과 새로운 비즈니스 모델 창출이라는 달콤한 열매를 선점하기 위해 전력질주하고 있습니다. 그러나 이 눈부신 기술 발전의 이면에는 조직이 미처 대비하지 못한 어두운 그림자가 짙게 드리워져 있습니다.
[자료: AI Generated by Kim, Jungduk]
최근 정보보호포럼(ISF)이 발표한 보고서에 따르면, AI를 도입한 조직의 절반 이상이 최소한의 보안 거버넌스조차 갖추지 못한 것으로 나타났습니다. 이는 단순한 기술적 준비 부족을 넘어, AI라는 거대한 ‘사회·기술 시스템’(Socio-techno System)을 다루는 경영 철학과 원칙의 부재를 여실히 드러내는 지표입니다.
경영진이 직시해야 할 AI 시대의 시스템 리스크
과거의 보안이 명확한 경계를 가진 성벽을 지키는 일이었다면, 오늘날의 AI 보안은 법률, 경제, 문화, 신뢰가 복잡하게 얽힌 도시 생태계 전체를 관리하는 것과 같습니다. AI 리스크는 단순한 기술적 오류를 넘어 기업의 존폐와 사회 안정을 위협하는 시스템 리스크로 진화하고 있습니다. ISF 보고서가 제시한 13가지 위험들은 크게 네 가지 차원으로 나눌 수 있습니다.
먼저 ‘규제와 지정학’이라는 외부 환경의 불확실성입니다. EU ‘AI 법’과 미국 ‘NIST AI 리스크 관리 프레임워크’처럼 각국 규제가 달라 글로벌 기업의 준수 부담이 커집니다. AI 패권 경쟁은 공급망 리스크를 키우고, 핵심 인프라에 대한 사이버 공격은 국가 안보 수준으로 격상됐습니다.
다음으로 ‘기술적 취약성’입니다. 데이터 포이즈닝·프롬프트 인젝션과 같은 적대적 공격은 더욱 정교해져, 작은 침투만으로도 시스템 전체를 마비시킬 수 있습니다.
‘데이터 신뢰의 위기’도 심각합니다. AI의 ‘블랙박스’ 문제와 프라이버시 침해는 기업에 대한 고객과 시장의 신뢰를 무너뜨리는 치명적인 요인입니다.
마지막으로 ‘인간과 프로세스의 허점’도 간과할 수 없습니다. 통제되지 않은 ‘섀도우 AI’(Shadow AI)의 사용은 예측 불가능한 보안 구멍을 만들며, 고도화되는 AI 악용 범죄에 대한 대응 체계는 여전히 미흡합니다.
결국 이 모든 위험을 통제하고 거버넌스를 바로 세우는 것은 온전히 인간과 조직의 몫입니다.
가치 창출과 보호를 위한 두 지휘 본부의 역할
복잡한 위험을 해결할 열쇠는 결국 ‘거버넌스’에 있습니다. 하지만 많은 리더가 거버넌스를 단일한 개념으로 오인하는 함정에 빠지곤 합니다. 거버넌스의 본질은 ‘지시’(Direct)와 ‘통제’(Control)의 균형에 있으며, 지시는 가치 창출(What)을, 통제는 가치 보호(How)를 담당합니다. 목적 없는 질주가 폭주라면, 안전장치 없는 가속은 사고로 이어질 뿐입니다.
성공적인 AI 도입을 위해서는 ‘일반 AI 거버넌스’와 ‘AI 보안 거버넌스’라는 두 개의 지휘 본부가 필요합니다.
①일반 AI 거버넌스: 이 거버넌스는 AI가 나아가야 할 방향과 최고 원칙을 세우는 역할을 합니다. “AI는 인간 가치를 존중하고, 공정하며 투명해야 한다”는 대원칙 하에 편향성, 프라이버시 침해, 법규 위반과 같은 윤리적·법적 리스크를 통제합니다. 여기에는 주로 법무, 컴플라이언스, AI 윤리 위원회, 그리고 최고 경영진(C-Suite)이 참여해 조직의 철학을 정립합니다.
②AI 보안 거버넌스: AI라는 전략 자산을 적대적 환경으로부터 보호하기 위한 실전형 지휘 본부입니다. “모든 AI 모델은 외부의 탈취 시도로부터 보호되어야 한다”는 구체적인 지시를 내리고, 모델 해킹이나 데이터 유출과 같은 사이버 보안 리스크를 직접적으로 통제합니다. CISO를 필두로 보안팀, AI 위험 분석가, MLOps 엔지니어 등이 참여하여 기술적 방어선을 구축합니다.
▲김정덕 중앙대 명예교수 [자료: 김정덕 교수]
헌법만으로 전쟁에서 승리할 수 없듯, 작전 계획만으로 국가의 기틀을 바로 세울 수 없습니다. 마찬가지로, ‘공정한 AI’를 만들자는 윤리적 선언(일반 거버넌스)만으로 해커의 모델 탈취 공격을 막을 수는 없습니다. 반대로, 아무리 견고한 방어 체계(보안 거버넌스)를 갖추었더라도, 그 AI가 특정 고객을 차별한다면 조직은 더 큰 위기에 직면할 것입니다.
가장 이상적인 구조는 두 지휘 본부가 유기적으로 협력하는 것입니다. 전사적 AI 거버넌스 위원회 산하에 보안 전담 소위원회를 두거나, AI 활용도가 높은 산업군에서는 AI 보안 거버넌스를 구현하여 우선적으로 리스크를 선제적으로 방어하는 방안을 고려해야 합니다.
지금 경영진에게 필요한 것은 기술에 대한 막연한 두려움이 아니라, 기술을 안전하게 통제하고 활용할 수 있는 명확한 거버넌스 체계입니다. 두 개의 거버넌스가 조화를 이룰 때, 비로소 AI는 위험한 도구가 아닌 혁신의 강력한 무기가 될 것입니다.
[글_ 김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장]
필자 소개_ 중앙대학교 산업보안학과 명예교수, 인간중심보안포럼 의장, 한국정보보호학회 부회장, 금융 정보보호관리체계 인증위원, 전 JTC1 SC27 정보보안 국제표준화 전문위 의장 및 의원, 전 ISO 27014(정보보안 거버넌스) 에디터 등 역임
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
강초희기자 기사보기
.gif)
.jpg)
