[인터뷰] 오정석 서울시청 정보통신과 스마트CCTV팀장, “스마트 CCTV의 다음 단계는 ‘설명 가능한 관제’”

오탐·과탐 저감을 위한 생성형 AI 기반 설명 가능한 통합관제 전환
실운영 성능 검증 강화 및 데이터 고도화를 통한 AI 신뢰성 확보

[보안뉴스 강초희 기자] 서울은 한 사람이 1000대가 넘는 CCTV를 바라보는 도시다. 세계 최고 수준의 통합관제 체계를 갖췄지만 오탐과 과도한 알람은 여전히 현장의 부담으로 남아 있다. 서울시는 이를 해결하기 위해 기존 지능형 CCTV에서 생성형 AI 관제로의 전환을 선언했다. 오정석 스마트CCTV팀장에게 통합관제의 한계와 다음 단계 전략을 들었다.

Q. 현재 맡고 있는 업무에 대한 소개를 부탁드립니다
서울시 정보통신과 스마트CCTV팀장 오정석입니다. 현재 지능형 CCTV, 생성형 AI 관제 사업을 총괄하고 있으며, 지자체 통합관제센터에 적용되는 지능형 영상분석 시스템의 기획과 고도화, 운영 전략 수립을 담당하고 있습니다. 특히 현장에서 반복적으로 발생하는 오탐·과탐 문제를 개선하고 관제 효율을 높일 수 있는 구조를 설계하는 데 집중하고 있습니다. 최근에는 AI 신뢰성 확보를 핵심 과제로 삼아 성능 검증 체계 정비와 학습 데이터 고도화, 운영 기반 개선 작업을 병행하고 있습니다.

Q. 최근 공공·지자체를 중심으로 지능형 CCTV 고도화 사업이 확대되고 있습니다. 서울시는 2026년까지 서울시 CCTV를 지능형 CCTV로 전환하는 사업을 하고 있는데요. 현장의 분위기는 어떤가요
과거에는 CCTV 설치 대수 확대가 정책의 중심이었다면, 이제는 ‘운영 효율’과 ‘정확도’가 핵심 지표로 자리 잡았습니다. 지자체 통합관제센터의 가장 큰 고민은 관제 인력 대비 과도한 이벤트 발생입니다. 하루 수천 건의 알람이 발생하지만 실제 대응이 필요한 이벤트는 극히 일부에 불과합니다. 이로 인해 관제 요원의 피로도가 높아질 뿐더러 정작 중요한 상황을 놓치는 경우가 발생하기도 합니다.

최근 발주사업을 보면 이러한 문제 인식이 반영되고 있습니다. 객체 인식 기능에서 벗어나 오탐·과탐 저감, 상황 설명 기능, 통계 기반 운영 분석 등 고도화된 기능을 요구하는 사례가 늘고 있습니다. 즉, 카메라를 많이 설치하는 단계를 지나 ‘어떻게 똑똑하게 운영할 것인가’가 주요 화두입니다.

Q. 지난해 말 발표된 ‘감사 보고서’에서는 지능형 CCTV 성능 편차와 인증 대비 실운영 정확도 저하 문제를 지적했습니다. 원인은 무엇이며, 개선하기 위해서는 어떻게 해야 하나요
감사 결과를 보면, 인증을 받은 지능형 CCTV임에도 불구하고 실제 현장 환경에서는 침입, 쓰러짐, 싸움 등의 항목에서 인증 기준에 미치지 못하는 사례가 확인됐습니다. 이 문제의 핵심은 알고리즘 자체라기보다는 데이터 구성과 평가 체계의 한계에 있다고 봅니다.

국제표준화기구(ISO)와 국제전기기구(IEC) 기준에서도 학습과 평가 과정에서 이상 상황뿐 아니라 정상 상황 그리고 유사 상황을 함께 포함하도록 권고하고 있습니다. 그러나 실제 학습용 데이터는 이상 상황 중심으로 구축된 경우가 많았습니다.

현장에서는 위험 상황만큼이나 위험처럼 보이지만 위험이 아닌 상황을 구분하는 능력이 중요합니다. 예를 들어 사람의 배회와 일상적인 이동, 신체 접촉과 실제 싸움 상황은 외형적으로 유사할 수 있습니다. 이런 유사 상황 데이터가 충분히 반영되지 않으면 오탐이 증가하고, 결국 관제 효율이 떨어지게 됩니다.

개선 방향은 세 가지로 정리할 수 있습니다. 첫째, 유사 상황을 포함한 데이터셋 고도화입니다. 정상, 비정상, 유사 사례를 균형 있게 포함해야 합니다. 둘째, 인증 단계와 실운영 환경 간 격차를 줄이기 위한 현장 기반 성능 검증체계 강화입니다. 실사용 데이터에 근거한 반복 검증이 필요합니다. 셋째, 단일 정확도 수치가 아닌 정탐, 오탐, 미탐을 함께 공개하는 다층 성능 지표 도입입니다. 그래야 실제 운영 관점에서 성능을 객관적으로 판단할 수 있습니다.

이러한 종합적인 문제를 근본적으로 해결하기 위해서는 무엇보다 AI 모델이 사물을 정확히 식별하는 기초 학습 단계를 탄탄히 하는 것이 중요합니다. 사물 구분이 명확히 이루어지지 않으면 그 상위 단계인 유형별 이벤트 탐지 자체가 불가능하기 때문입니다.

이에 설치된 카메라의 거리와 각도, 조도 등 변화무쌍한 현장 환경을 고려해, 실제 영상 속 객체의 크기와 왜곡 정도까지 반영할 수 있는 현장 맞춤형 학습 방법에 대한 근본적인 고민이 병행돼야 합니다.

Q. 우리나라는 CCTV 설치 대수가 많은 국가로 알려져 있습니다. 하지만 설치 규모뿐 아니라 ‘통합관제 체계’라는 점에서 차별성이 있다는 평가도 있습니다
우리나라는 지자체 단위 통합관제센터 체계를 갖추고 있다는 점에서 구조적으로 다른 모델을 운영하고 있습니다. 방범, 교통, 재난 등 다양한 목적의 CCTV를 하나의 공간에서 통합 관리하는 방식은 분산 운영과는 전혀 다른 체계입니다.

예를 들어 영국이나 미국의 경우 공공과 민간 CCTV가 혼재돼 있고, 관제 권한도 기관별로 분리된 경우가 많습니다. 반면 우리나라는 지자체 단위로 수천대의 CCTV를 하나의 관제센터에서 통합 운영합니다.

다만 이 ‘통합’ 구조는 동시에 큰 도전 과제이기도 합니다. 서울시 사례를 보면, 평균적으로 한 관제 요원이 1200대 내외의 CCTV를 담당하는 구조입니다. 물리적으로 모든 화면을 상시 모니터링하는 것은 현실적으로 불가능합니다. 그래서 지능형 CCTV 도입이 시작됐고, 이제는 한 단계 더 나아가 생성형 AI 기반 관제로 전환하려는 것입니다.

결국 통합관제 체계는 우리나라만의 독보적인 강점이지만, 이 구조를 지속 가능하게 유지하기 위해서는 AI 기술의 역할이 탐지 이상의 수준으로 진화해야 합니다. AI가 스스로 상황을 선별·요약하고 대응 우선순위를 분석해 능동적으로 판단하는 단계까지 나아가지 못한다면, 관제 현장에서의 AI 신기술 도입은 실효성 논란이나 무용론에 직면할 수밖에 없습니다.

▲이상 상황 관련한 지능형 CCTV 오류 [출처: ‘인공지능 대비실태’ 감사 보고서(2025)]

Q. 최근 서울시가 생성형 AI 관제 시스템을 도입한다고 밝혔습니다. 기존 CCTV 관제 시스템과 차별화되는 기술적 변화는 무엇인가요
기존 지능형 CCTV는 사람·차량 등 객체를 탐지하고, 사전에 정의된 이벤트가 발생했는지를 판별하는 구조였습니다. 즉, 객체 인식과 단일 이벤트 트리거 중심의 시스템이라고 볼 수 있습니다.

반면 생성형 AI 기반 관제는 그 단계에서 한 걸음 더 나아가 행동 분석과 상황 맥락 이해를 목표로 합니다. 단순히 ‘사람이 넘어졌다’는 이벤트를 감지하는 데 그치지 않고 해당 장면이 발생한 시간대, 주변 인구 밀집도, 이동 패턴 변화, 과거 유사 사례 데이터 등을 함께 분석해 종합적으로 판단합니다.

예를 들어 동일한 ‘쓰러짐’ 장면이라도, 공사 현장 작업장 주변에서 발생한 경우와 인적이 드문 골목에서 발생한 경우는 위험도 해석이 달라질 수 있습니다. 생성형 AI 관제는 이러한 맥락 정보를 결합해 상황을 서술형으로 요약하거나 설명 가능한 형태로 제공하는 것을 지향합니다.

또 하나의 중요한 변화는 ‘상황을 설명한다’는 점입니다. 기존 시스템이 이벤트 발생 여부만을 표시했다면, 생성형 AI는 ‘왜 위험으로 판단했는지’를 함께 제시하는 구조로 발전하고 있습니다. 이는 최근 AI 정책에서 강조되는 신뢰성과 투명성 강화 흐름과도 맞닿아 있습니다.

Q. 생성형 AI 관제는 실제 관제 효율 측면에서 개선 효과를 기대할 수 있을까요
생성형 AI 관제는 단일 이벤트를 개별적으로 나열하는 방식이 아니라 복합 맥락을 분석해 위험도를 재분류하는 구조를 지향합니다. 예를 들어 동일 구역에서 짧은 시간 내 여러 이벤트가 발생했다면 이를 각각의 알람으로 분리하는 대신 하나의 상황으로 묶어 요약·제시할 수 있습니다. 이렇게 되면 관제 요원은 상황 단위로 판단할 수 있게 됩니다. 우선순위를 빠르게 설정할 수 있고, 실제 대응이 필요한 사건에 집중할 여지가 생깁니다.

또한 현장에서 발생한 데이터를 지속적으로 학습에 반영하는 체계가 갖춰진다면, 유사 상황의 오탐을 점진적으로 줄일 수 있습니다. 이는 관제 요원의 1차 필터링 부담을 완화하고 긴급 상황 대응에 더 많은 인력을 투입할 수 있는 구조로 이어집니다.

Q. 생성형 AI 관제가 정착되려면 무엇이 필요할까요
생성형 AI 관제가 안정적으로 정착되기 위해서는 기술을 고도화하는 것을 넘어 기존 시스템의 관리 사각지대를 해소할 수 있는 정교한 운영 체계 마련이 선행돼야 합니다.

현재 지능형 CCTV는 시민 안전과 직결되는 핵심 시스템임에도 불구하고 실제 운영 현장에서는 탐지 항목별 성능을 체계적으로 모니터링하지 않거나, 인증 당시의 성능과 실운영 환경 간에 격차가 발생하는 등의 관리적 한계가 드러나고 있습니다. 따라서 더 방대한 데이터를 분석하고 능동적으로 상황을 해석하는 생성형 AI 관제가 도입되기 위해서는 다음과 같은 세 가지 보완책이 필요합니다.

첫째, 실운영 기반의 성능 검증을 정례화해야 합니다. 단순한 초기 인증 통과에 만족할 것이 아니라, 운영 과정에서 발생하는 정탐·오탐·미탐 지표를 주기적으로 점검하고 공개해 시스템의 신뢰성을 지속적으로 증명하는 구조를 갖춰야 합니다.

둘째, AI의 위험도 판단 기준을 정책적으로 명확히 해야 합니다. AI가 어떤 논리적 근거로 ‘주의’, ‘경고’, ‘긴급’ 등의 단계를 분류하는지 명문화하지 않는다면, 향후 판단 오류에 따른 행정적 책임 소재 문제가 불거질 수 있기 때문입니다.

셋째, 데이터 관리 체계의 강화가 필수적입니다. 학습 데이터의 구성부터 업데이트 주기, 현장 피드백 반영 절차 및 개인정보 보호 조치에 이르기까지 데이터의 전 생애주기를 체계적으로 관리함으로써 시스템 운영의 투명성과 대국민 신뢰를 확보해야 합니다.

Q. 향후 계획에 대해 말씀해 주세요
올해 추진 계획은 크게 두 가지 축으로 구성됩니다.

우선 생성형 AI 관제 체계의 단계적 구축으로 인프라를 고도화하고, 현장의 일반 CCTV를 객체 분류가 가능한 시스템 반도체 AI CCTV로의 전환을 권고해 생성형 AI 관제에 최적화된 환경을 조성할 계획입니다. 이를 통해 관제 효율을 높이는 것은 물론, 정밀한 데이터를 바탕으로 국내 CCTV 시장이 한 단계 더 발전할 수 있는 토대를 마련하는 데 중점을 두고 있습니다.

그다음은 공공 데이터 공개입니다. 올해 말 즈음, 통합관제센터 운영 과정에서 축적된 오탐·과탐 사례, 환경별 설정값 조정 사례, 실제 현장 영상 기반 검증 데이터 등을 정리해 제공할 예정입니다. 이는 실운영 환경에서 발생한 사례를 기반으로 정제한 데이터라는 점에서 의미가 있습니다.

올해 추진 계획의 목적은 분명합니다. 서울시가 현장에서 겪은 시행착오와 개선 과정을 공유함으로써 기업들이 생성형 AI 기반 관제 모델을 고도화하는 데 실질적으로 활용할 수 있도록 하자는 것입니다. 데이터가 축적되고 공유돼야 기술도 함께 발전할 수 있다고 봅니다.

[강초희 기자(sw@boannews.com)]

우리나라 정보보호 수준 향상을 위해 이재명 정부에게 가장 바라는 점은 무엇인가요?
	ISMS 등 보안 인증 제도 실효성 개선
	AI 보안, 양자보안 등 보안 기술 연구개발 지원 확대
	중소 기업 보안 지원 확대
	기업 보안 예산 비율 의무화
	국가 정보보호 거버넌스 체계 정비
	기타(댓글로)