AI 프라이버시 리스크 관리 모델로 살펴본 체계적 관리 방안
[보안뉴스= 개인정보보호위원회 인공지능프라이버시팀] 최근 Chat GPT를 비롯한 초거대 생성형 AI가 확산하며, AI가 우리 생활 전반에 가져올 혁신과 함께 개인정보보호의 중요성 또한 그 어느 때보다 강조되고 있다. 그러나 데이터 집약적인 AI 기술은 필연적으로 프라이버시 리스크라는 새로운 도전 과제와 직면하게 된다. 따라서 AI 시대를 맞아 개인정보보호 관점에서 프라이버시 리스크를 효과적으로 관리할 수 있는 전략이 필요하다.
개인정보보호위원회는 이러한 시대적 요구에 대응해 국내외 다양한 사례 분석을 통해 지난해 12월 ‘AI 프라이버시 리스크 관리 모델’을 발표했으며, 해당 안내서는 AI 개발·운영 전 주기에 걸쳐 프라이버시 리스크를 체계적으로 관리하는 방안을 단계별로 제시하고 있다.
첫째 단계는 AI의 유형과 용례를 파악하는 단계다. AI와 관련된 프라이버시 리스크는 AI 모델의 유형, AI 시스템의 목적, 처리되는 데이터 유형 등에 따라 다양하다. 리스크 관리가 실효성이 있으려면, 첫 단계로 어떤 유형의 AI가 도입될 것이고, 해당 AI를 이용한 서비스의 목적이 어떠할지 체계화해서 정리하는 것이 우선 필요하다.
AI 시스템을 기획하거나 개발하는 과정에서는 인터넷상의 공개된 데이터를 이용할 것인지, 학습이 일단 이루어진 모델에 대해 데이터의 추가 투입을 통한 미세조정 작업을 할 것인지 등 세부 사항에 대한 고려가 필요하다. 개별 상황에서 실제로 필요한 데이터의 내역이나 규모를 구체화하는 과정이 수반돼야 한다.
한편, 개발 후에 서비스가 이루어지는 과정에서는, 생성형 AI 유형의 서비스인지 판별형 AI 유형의 서비스인지에 따라 고려 요소가 달라질 수 있다. 생성형 AI는 이용자로부터의 입력값과 문맥에 기초해 텍스트, 이미지, 비디오 등을 생성하는 역할을 주로 하는 AI 시스템이다. 판별형 AI의 유형은 좀 더 다양하다. 채용 추천 AI 등 개인에 관한 평가나 분류를 수행하는 AI 시스템, AI 기반의 맞춤형 콘텐츠나 광고를 제공하는 유형의 AI 추천 시스템 등 다양한 유형의 시스템이 있다. 이처럼 어떤 서비스인지, 해당 서비스를 위해 요구되는 데이터의 유형과 규모는 어떠한지, 해당 데이터는 누가 관리하고 있고 누구에게 귀속되는 것인지에 대해 파악하고 정리할 필요가 있다.
둘째 단계는 첫 단계에서 파악한 AI 유형 및 용례에 대응하는 리스크를 식별하고 매핑하는 단계다. 기획이나 개발의 과정에서는, 적법하지 않은 데이터를 수집해 학습 데이터로 이용할 가능성, 학습 데이터의 관리가 부적절할 가능성, AI 가치망의 다양화에 따라 데이터 흐름이 지나칠 정도로 복잡해질 가능성 및 그에 따른 추가적 리스크가 발생할 가능성 등이 고려될 수 있다.
생성형 AI 서비스의 제공과 관련해서 흔히 언급되는 리스크는 학습 데이터의 암기 가능성 그리고 그로 인해 개인정보가 부당하게 노출될 가능성이다. 판별형 AI와 관련해서는, AI를 이용한 자동화된 결정의 과정에서 개인의 권리가 실질적으로 무시될 가능성이나 AI 기술이 부당하게 민감정보를 추출하거나 추론하는 도구로 쓰이게 될 가능성, 그리고 대중에 대한 부당한 감시 도구로 AI 기술이 활용될 가능성이 언급된다.
셋째 단계는 관련 리스크를 정리한 뒤 이를 측정하고 판단하는 단계다. 이 단계에서는 △리스크의 발생 확률 △해당 리스크가 실현될 경우의 그 영향의 크기나 중대성 △리스크의 수용 가능 여부 △서로 다른 리스크 사이의 우선순위 등에 관한 분석과 판단이 이루어지도록 한다.
넷째 단계는 리스크의 경감을 위한 방안을 검토하고 도입하는 단계다. 이 단계에서는 리스크를 식별하고 측정한 것에 이어, 리스크를 최소화하기 위한 기술적 방안과 관리적 방안을 도출하고 도입한다. 관리적 방안의 예시로는 학습 데이터의 출처 및 이력 관리, 데이터에 대한 적절한 보관과 관리, 허용되는 이용 방침의 공개 및 관리, ‘레드팀’과 같은 담당 조직의 운영, 조직 내부나 외부로부터의 피드백을 위한 절차의 수립 등을 들 수 있으며, 기술적 방안으로는 중복제거(Deduplication)를 포함한 전처리 과정에서의 데이터 관리, 입력 및 출력 필터링 적용, 합성 데이터 사용에 대한 고려, 다양한 프라이버시 향상 기술을 도입하는 것을 생각할 수 있다.
물론 이와 같은 기술적 방안 및 관리적 방안을 모두 수행해야 하는 것은 아니다. 모든 리스크가 여러 AI 시스템에 공통으로 나타나지 않으며, 일괄 적용은 현실적으로도 어렵다. 중요한 것은 리스크에 대한 평가 및 관리 체계를 구축해 실효성 있게 운영하는 것이다. 최적의 안전조치 조합을 찾아내기 위한 분석과 평가 역량을 갖추고, 그로부터 평가된 리스크에 상응하는 수준의 적절한 관리 체계를 마련하고 이행하는 것이 핵심이다.
이처럼 AI가 불러올 미래는 혁신적인 기술 발전만큼이나 프라이버시 보호라는 사회적 책임이 중요해지는 시대이다. 개인정보보호위원회는 앞으로도 AI 시대에 발맞추어 혁신 지원과 프라이버시 보호가 공존할 수 있는 환경 조성을 위해 최선을 다할 것이다.
[글_ 개인정보보호위원회 인공지능프라이버시팀]
[보안뉴스= 개인정보보호위원회 인공지능프라이버시팀] 최근 Chat GPT를 비롯한 초거대 생성형 AI가 확산하며, AI가 우리 생활 전반에 가져올 혁신과 함께 개인정보보호의 중요성 또한 그 어느 때보다 강조되고 있다. 그러나 데이터 집약적인 AI 기술은 필연적으로 프라이버시 리스크라는 새로운 도전 과제와 직면하게 된다. 따라서 AI 시대를 맞아 개인정보보호 관점에서 프라이버시 리스크를 효과적으로 관리할 수 있는 전략이 필요하다.
[자료: gettyimagesbank]
개인정보보호위원회는 이러한 시대적 요구에 대응해 국내외 다양한 사례 분석을 통해 지난해 12월 ‘AI 프라이버시 리스크 관리 모델’을 발표했으며, 해당 안내서는 AI 개발·운영 전 주기에 걸쳐 프라이버시 리스크를 체계적으로 관리하는 방안을 단계별로 제시하고 있다.
첫째 단계는 AI의 유형과 용례를 파악하는 단계다. AI와 관련된 프라이버시 리스크는 AI 모델의 유형, AI 시스템의 목적, 처리되는 데이터 유형 등에 따라 다양하다. 리스크 관리가 실효성이 있으려면, 첫 단계로 어떤 유형의 AI가 도입될 것이고, 해당 AI를 이용한 서비스의 목적이 어떠할지 체계화해서 정리하는 것이 우선 필요하다.
AI 시스템을 기획하거나 개발하는 과정에서는 인터넷상의 공개된 데이터를 이용할 것인지, 학습이 일단 이루어진 모델에 대해 데이터의 추가 투입을 통한 미세조정 작업을 할 것인지 등 세부 사항에 대한 고려가 필요하다. 개별 상황에서 실제로 필요한 데이터의 내역이나 규모를 구체화하는 과정이 수반돼야 한다.
한편, 개발 후에 서비스가 이루어지는 과정에서는, 생성형 AI 유형의 서비스인지 판별형 AI 유형의 서비스인지에 따라 고려 요소가 달라질 수 있다. 생성형 AI는 이용자로부터의 입력값과 문맥에 기초해 텍스트, 이미지, 비디오 등을 생성하는 역할을 주로 하는 AI 시스템이다. 판별형 AI의 유형은 좀 더 다양하다. 채용 추천 AI 등 개인에 관한 평가나 분류를 수행하는 AI 시스템, AI 기반의 맞춤형 콘텐츠나 광고를 제공하는 유형의 AI 추천 시스템 등 다양한 유형의 시스템이 있다. 이처럼 어떤 서비스인지, 해당 서비스를 위해 요구되는 데이터의 유형과 규모는 어떠한지, 해당 데이터는 누가 관리하고 있고 누구에게 귀속되는 것인지에 대해 파악하고 정리할 필요가 있다.
둘째 단계는 첫 단계에서 파악한 AI 유형 및 용례에 대응하는 리스크를 식별하고 매핑하는 단계다. 기획이나 개발의 과정에서는, 적법하지 않은 데이터를 수집해 학습 데이터로 이용할 가능성, 학습 데이터의 관리가 부적절할 가능성, AI 가치망의 다양화에 따라 데이터 흐름이 지나칠 정도로 복잡해질 가능성 및 그에 따른 추가적 리스크가 발생할 가능성 등이 고려될 수 있다.
생성형 AI 서비스의 제공과 관련해서 흔히 언급되는 리스크는 학습 데이터의 암기 가능성 그리고 그로 인해 개인정보가 부당하게 노출될 가능성이다. 판별형 AI와 관련해서는, AI를 이용한 자동화된 결정의 과정에서 개인의 권리가 실질적으로 무시될 가능성이나 AI 기술이 부당하게 민감정보를 추출하거나 추론하는 도구로 쓰이게 될 가능성, 그리고 대중에 대한 부당한 감시 도구로 AI 기술이 활용될 가능성이 언급된다.
셋째 단계는 관련 리스크를 정리한 뒤 이를 측정하고 판단하는 단계다. 이 단계에서는 △리스크의 발생 확률 △해당 리스크가 실현될 경우의 그 영향의 크기나 중대성 △리스크의 수용 가능 여부 △서로 다른 리스크 사이의 우선순위 등에 관한 분석과 판단이 이루어지도록 한다.
넷째 단계는 리스크의 경감을 위한 방안을 검토하고 도입하는 단계다. 이 단계에서는 리스크를 식별하고 측정한 것에 이어, 리스크를 최소화하기 위한 기술적 방안과 관리적 방안을 도출하고 도입한다. 관리적 방안의 예시로는 학습 데이터의 출처 및 이력 관리, 데이터에 대한 적절한 보관과 관리, 허용되는 이용 방침의 공개 및 관리, ‘레드팀’과 같은 담당 조직의 운영, 조직 내부나 외부로부터의 피드백을 위한 절차의 수립 등을 들 수 있으며, 기술적 방안으로는 중복제거(Deduplication)를 포함한 전처리 과정에서의 데이터 관리, 입력 및 출력 필터링 적용, 합성 데이터 사용에 대한 고려, 다양한 프라이버시 향상 기술을 도입하는 것을 생각할 수 있다.
물론 이와 같은 기술적 방안 및 관리적 방안을 모두 수행해야 하는 것은 아니다. 모든 리스크가 여러 AI 시스템에 공통으로 나타나지 않으며, 일괄 적용은 현실적으로도 어렵다. 중요한 것은 리스크에 대한 평가 및 관리 체계를 구축해 실효성 있게 운영하는 것이다. 최적의 안전조치 조합을 찾아내기 위한 분석과 평가 역량을 갖추고, 그로부터 평가된 리스크에 상응하는 수준의 적절한 관리 체계를 마련하고 이행하는 것이 핵심이다.
이처럼 AI가 불러올 미래는 혁신적인 기술 발전만큼이나 프라이버시 보호라는 사회적 책임이 중요해지는 시대이다. 개인정보보호위원회는 앞으로도 AI 시대에 발맞추어 혁신 지원과 프라이버시 보호가 공존할 수 있는 환경 조성을 위해 최선을 다할 것이다.
[글_ 개인정보보호위원회 인공지능프라이버시팀]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
원병철기자 기사보기
[2025-04-07] 
