영상 생성과 압축시 발생한 흔적 정보 분석 위해 다중 압축 변형 영상 탐지 기술 개발
카이캐치(KaiCatch) 2.1버전 개발로, 비디오 편집 변형 관련 위변조 탐지 기존 정확도 크게 높여
향후 CCTV 등 영상 편집 여부와 관련된 분쟁에 도움
[보안뉴스 엄호식 기자] 국내 연구진이 영상 내 변형 영역을 더욱 정밀하게 탐지하기 위해 영상 내 색상 정보와 주파수 정보를 함께 활용하는 인공지능 엔진 기술을 학계 처음으로 개발했다. 이번 개발 기술은 기존 기술보다 정밀도와 정확도를 크게 높여 위변조 탐지 기술의 기술 유용성을 일정 수준 확보할 수 있는 기반을 제공한다는 점에서 그 의미가 크다. KAIST에서 각종 위변조 영상들을 잡아낸다는 의미를 지닌 소프트웨어 ‘카이캐치(KaiCatch)’는 이미지와 영상뿐만 아니라 CCTV 비디오 변형 여부도 분석할 수 있다.
KAIST(총장 이광형)는 이흥규 전산학부 교수 연구팀이 새로운 인공지능 구조와 학습 방법론, 그리고 실험실 환경에서는 구하기 힘든 고급 변형 이미지 영상들을 사용해 영상 이미지 위변조 탐지 소프트웨어인 ‘카이캐치(KaiCatch)’의 영상 이미지 정밀도와 정확도를 크게 높일 뿐만 아니라 비디오 편집 변형도 탐지할 수 있는 카이캐치 2.1 버전을 개발했다고 밝혔다.
카이캐치 소프트웨어는 ‘이상(異常) 유형 분석 엔진’과 ‘이상(異常) 영역 추정 엔진’ 등 두 개의 인공지능 엔진으로 구성된다. ‘이상 유형 분석 엔진’은 블러링, 노이즈, 크기 변화, 명암 대비 변화, 모핑, 리샘플링 등을 필수 변이로 정의해 이를 탐지하며 ‘이상 영역 추정 엔진’은 이미지 짜깁기, 잘라 붙이기, 복사 붙이기, 복사 이동 등을 탐지한다. 이번에 새로 개발한 기술은 ‘이상 영역 추정 엔진’으로 기존 기술에서는 이상 영역 탐지 시 그레이 스케일(회색조)로 이상 유무를 탐지했으나 분석 신호의 표현력이 낮고 탐지 오류가 많아 위변조 여부 판정에 어려움이 많았다. 이번에 개발된 기술은 색상 정보와 주파수 정보를 함께 활용해 정밀도(precision)와 재현율(recall)이 크게 향상되고 변형 영역을 컬러 스케일로 표현함으로써 해당 영역의 이상 유무뿐만 아니라 위변조 여부도 더욱 명확하게 판별이 가능해졌다.
적용된 기술을 살펴보면 △원본 이미지는 실내 조명에 의한 명암 차이가 매우 크며, 기존 분석 결과를 보여주는 △기존 기술 이미지는 사진 속 왼쪽에 있는 사람과 가운데 어린이의 머리 부분, 천장의 조명등 부분이 짜깁기 변형이 이루어 짐을 예측한다. 하지만 △개발 기술 이미지는 개발 기술에 의한 분석 결과로 왼쪽 사람과 천장의 조명등 영역이 잡음 형태로 모양이 뚜렷하지 않고, 어린이 머리 부분의 색상이 불균일하게 나타남에 따라 명암 차이에 의한 단순 노이즈임을 쉽게 판단할 수 있다.
연구팀은 학계 처음으로 영상 생성 시 발생하는 흔적과 압축 시 발생하는 흔적 신호들을 함께 분석하기 위해 색상 정보와 주파수 정보를 모두 활용하는 접근 방법을 제시했다. 또 이러한 방법론을 설계·구현하기 위해 주파수 정보를 하나의 분할 네트워크에서 직접 입력으로 받아들이는 방식의 ‘압축 왜곡신호 탐지 네트워크(Compression Artifact Tracing Network, 이하 CAT-Net)’을 학계 최초로 개발하고 기존 기법들과 비교해 탐지 성능이 크게 뛰어남을 입증했다. 개발한 기술은 기존에 제시된 기법들과 비교할 때 특히 원본과 변형본을 판별하는 평가 척도인 F1 점수, 평균 정밀도(average precision)에서 대단히 뛰어나 실환경 위변조 탐지 능력이 크게 강화됐다.
비디오 편집 변형의 경우도, 프레임 삭제나 추가 등에 의한 편집 변형이 흔히 CCTV 비디오 등에서 발생한다는데 착안해 이러한 비디오 편집 변형을 탐지하는 기능 역시 이번 카이캐치 2.1 버전에 탑재됐다.
카이캐치 2.1 소프트웨어를 연구 개발한 이흥규 교수는 “영상 이미지 위변조 소프트웨어인 카이캐치를 휴대폰에 탑재하는 안드로이드 앱 형태로 일반에 소개한 2021년 3월 이후 현재까지 카이캐치 앱을 통한 900여 건의 위변조 분석 의뢰와 개별적으로 60건이 넘는 정밀 위변조 분석 의뢰를 받았다. KAIST 발표 논문 수준이나 실험 결과 등을 감안할 때 위변조 분야 최고 기술로 만든 소프트웨어인데, 오탐지율이 높아 실제 탐지 정밀도가 이론치보다 매우 낮았다. 많은 경우 위변조나 변형 여부에 대한 명확한 기술 판정이 불가능했으나 이번에 개발한 카이캐치 2.1은 CAT-Net이라는 새로운 네트워크 구조와 학습 방법론, 그리고 ‘색상 및 주파수 영역 왜곡 흔적 동시 분석’이라는 첨단 기술을 사용해 정밀도를 높여, 보다 명확한 판별이 가능하도록 개발됐다. 앞으로 영상 위변조 판단 여부가 어려운 경우가 많이 줄어들기를 기대한다”고 말했다.
이 교수는 이어 “비디오는 MP4 파일 포맷이, 그리고 영상 이미지는 JPEG 이미지들이 일반인들이 널리 사용한다는 점에서 해당 포맷을 주 개발 대상으로 삼았다. 영상 이미지의 경우 영상 편집 변형 시 영상에 남겨지는 인위적으로 발생하는 JPEG 압축 미세 신호 탐지에 주안점을 두어, 위변조 여부와 위변조 영역을 잡아내는 것에 집중했다. 비디오의 경우 특정 프레임들을 삭제하거나 삽입하는 경우, 프레임 부분 편집 후 재압축하는 경우 등을 탐지한다. 최근 CCTV 비디오 편집 여부에 대한 분쟁이 많아 크게 도움을 줄 수 있을 것으로 기대하며 향후에도 지속적으로 연구 개발해 취약점들을 보완해 나갈 계획”이라고 덧붙였다.
현재 카이캐치 소프트웨어는 안드로이드 기반 휴대전화의 구글 플레이스토어에서 ‘카이캐치’를 검색해 앱을 다운로드 받아 설치한 후, 영상 이미지들을 카이캐치에 업로드하면 위변조 여부를 간단하게 테스트해 볼 수 있다.
한편, 이번 연구는 제1 저자로 참여한 권명준 KAIST 전기및전자공학부 박사, 그리고 김창익 교수, 남승훈 박사, 유인재 박사 등과 공동으로 수행됐으며, 세계 최대 과학 기술, 의악 서적 출판사인 ‘스프링거 네이처(Springer Nature)’에서 발간하는 컴퓨터 비전 분야 톱 국제저널 ‘국제 컴퓨터 비전 저널(International Journal of Computer Vision, IF 7.410)’에 2022년 5월 25일 자 온라인판에 게재됐다.(논문명 : Learning JPEG Compression Artifacts for Image Manipulation Detection and Localization)
또한, 이번 연구는 한국연구재단 창의도전연구기반지원사업지원과 KAIST 창업기업인 디지탈이노텍과의 산학협력 연구로 수행됐다.
[엄호식 기자(eomhs@boannews.com)]
카이캐치(KaiCatch) 2.1버전 개발로, 비디오 편집 변형 관련 위변조 탐지 기존 정확도 크게 높여
향후 CCTV 등 영상 편집 여부와 관련된 분쟁에 도움
[보안뉴스 엄호식 기자] 국내 연구진이 영상 내 변형 영역을 더욱 정밀하게 탐지하기 위해 영상 내 색상 정보와 주파수 정보를 함께 활용하는 인공지능 엔진 기술을 학계 처음으로 개발했다. 이번 개발 기술은 기존 기술보다 정밀도와 정확도를 크게 높여 위변조 탐지 기술의 기술 유용성을 일정 수준 확보할 수 있는 기반을 제공한다는 점에서 그 의미가 크다. KAIST에서 각종 위변조 영상들을 잡아낸다는 의미를 지닌 소프트웨어 ‘카이캐치(KaiCatch)’는 이미지와 영상뿐만 아니라 CCTV 비디오 변형 여부도 분석할 수 있다.
▲KAIST 이흥규 전산학부 교수(왼쪽)와 김창익 전기및전자공학부 교수(가운데), 권명준 전기및전자공학부 박사(오른쪽)[사진=KAIST]
KAIST(총장 이광형)는 이흥규 전산학부 교수 연구팀이 새로운 인공지능 구조와 학습 방법론, 그리고 실험실 환경에서는 구하기 힘든 고급 변형 이미지 영상들을 사용해 영상 이미지 위변조 탐지 소프트웨어인 ‘카이캐치(KaiCatch)’의 영상 이미지 정밀도와 정확도를 크게 높일 뿐만 아니라 비디오 편집 변형도 탐지할 수 있는 카이캐치 2.1 버전을 개발했다고 밝혔다.
카이캐치 소프트웨어는 ‘이상(異常) 유형 분석 엔진’과 ‘이상(異常) 영역 추정 엔진’ 등 두 개의 인공지능 엔진으로 구성된다. ‘이상 유형 분석 엔진’은 블러링, 노이즈, 크기 변화, 명암 대비 변화, 모핑, 리샘플링 등을 필수 변이로 정의해 이를 탐지하며 ‘이상 영역 추정 엔진’은 이미지 짜깁기, 잘라 붙이기, 복사 붙이기, 복사 이동 등을 탐지한다. 이번에 새로 개발한 기술은 ‘이상 영역 추정 엔진’으로 기존 기술에서는 이상 영역 탐지 시 그레이 스케일(회색조)로 이상 유무를 탐지했으나 분석 신호의 표현력이 낮고 탐지 오류가 많아 위변조 여부 판정에 어려움이 많았다. 이번에 개발된 기술은 색상 정보와 주파수 정보를 함께 활용해 정밀도(precision)와 재현율(recall)이 크게 향상되고 변형 영역을 컬러 스케일로 표현함으로써 해당 영역의 이상 유무뿐만 아니라 위변조 여부도 더욱 명확하게 판별이 가능해졌다.
▲변형없는 원본 이미지(왼쪽)와 기존 기술로 분석된 결과를 보여주는 이미지(가운데) 그리고 개발 기술에 의한 분석 결과를 보여주는 이미지(오른쪽)[사진=KAIST]
적용된 기술을 살펴보면 △원본 이미지는 실내 조명에 의한 명암 차이가 매우 크며, 기존 분석 결과를 보여주는 △기존 기술 이미지는 사진 속 왼쪽에 있는 사람과 가운데 어린이의 머리 부분, 천장의 조명등 부분이 짜깁기 변형이 이루어 짐을 예측한다. 하지만 △개발 기술 이미지는 개발 기술에 의한 분석 결과로 왼쪽 사람과 천장의 조명등 영역이 잡음 형태로 모양이 뚜렷하지 않고, 어린이 머리 부분의 색상이 불균일하게 나타남에 따라 명암 차이에 의한 단순 노이즈임을 쉽게 판단할 수 있다.
연구팀은 학계 처음으로 영상 생성 시 발생하는 흔적과 압축 시 발생하는 흔적 신호들을 함께 분석하기 위해 색상 정보와 주파수 정보를 모두 활용하는 접근 방법을 제시했다. 또 이러한 방법론을 설계·구현하기 위해 주파수 정보를 하나의 분할 네트워크에서 직접 입력으로 받아들이는 방식의 ‘압축 왜곡신호 탐지 네트워크(Compression Artifact Tracing Network, 이하 CAT-Net)’을 학계 최초로 개발하고 기존 기법들과 비교해 탐지 성능이 크게 뛰어남을 입증했다. 개발한 기술은 기존에 제시된 기법들과 비교할 때 특히 원본과 변형본을 판별하는 평가 척도인 F1 점수, 평균 정밀도(average precision)에서 대단히 뛰어나 실환경 위변조 탐지 능력이 크게 강화됐다.
비디오 편집 변형의 경우도, 프레임 삭제나 추가 등에 의한 편집 변형이 흔히 CCTV 비디오 등에서 발생한다는데 착안해 이러한 비디오 편집 변형을 탐지하는 기능 역시 이번 카이캐치 2.1 버전에 탑재됐다.
카이캐치 2.1 소프트웨어를 연구 개발한 이흥규 교수는 “영상 이미지 위변조 소프트웨어인 카이캐치를 휴대폰에 탑재하는 안드로이드 앱 형태로 일반에 소개한 2021년 3월 이후 현재까지 카이캐치 앱을 통한 900여 건의 위변조 분석 의뢰와 개별적으로 60건이 넘는 정밀 위변조 분석 의뢰를 받았다. KAIST 발표 논문 수준이나 실험 결과 등을 감안할 때 위변조 분야 최고 기술로 만든 소프트웨어인데, 오탐지율이 높아 실제 탐지 정밀도가 이론치보다 매우 낮았다. 많은 경우 위변조나 변형 여부에 대한 명확한 기술 판정이 불가능했으나 이번에 개발한 카이캐치 2.1은 CAT-Net이라는 새로운 네트워크 구조와 학습 방법론, 그리고 ‘색상 및 주파수 영역 왜곡 흔적 동시 분석’이라는 첨단 기술을 사용해 정밀도를 높여, 보다 명확한 판별이 가능하도록 개발됐다. 앞으로 영상 위변조 판단 여부가 어려운 경우가 많이 줄어들기를 기대한다”고 말했다.
이 교수는 이어 “비디오는 MP4 파일 포맷이, 그리고 영상 이미지는 JPEG 이미지들이 일반인들이 널리 사용한다는 점에서 해당 포맷을 주 개발 대상으로 삼았다. 영상 이미지의 경우 영상 편집 변형 시 영상에 남겨지는 인위적으로 발생하는 JPEG 압축 미세 신호 탐지에 주안점을 두어, 위변조 여부와 위변조 영역을 잡아내는 것에 집중했다. 비디오의 경우 특정 프레임들을 삭제하거나 삽입하는 경우, 프레임 부분 편집 후 재압축하는 경우 등을 탐지한다. 최근 CCTV 비디오 편집 여부에 대한 분쟁이 많아 크게 도움을 줄 수 있을 것으로 기대하며 향후에도 지속적으로 연구 개발해 취약점들을 보완해 나갈 계획”이라고 덧붙였다.
현재 카이캐치 소프트웨어는 안드로이드 기반 휴대전화의 구글 플레이스토어에서 ‘카이캐치’를 검색해 앱을 다운로드 받아 설치한 후, 영상 이미지들을 카이캐치에 업로드하면 위변조 여부를 간단하게 테스트해 볼 수 있다.
한편, 이번 연구는 제1 저자로 참여한 권명준 KAIST 전기및전자공학부 박사, 그리고 김창익 교수, 남승훈 박사, 유인재 박사 등과 공동으로 수행됐으며, 세계 최대 과학 기술, 의악 서적 출판사인 ‘스프링거 네이처(Springer Nature)’에서 발간하는 컴퓨터 비전 분야 톱 국제저널 ‘국제 컴퓨터 비전 저널(International Journal of Computer Vision, IF 7.410)’에 2022년 5월 25일 자 온라인판에 게재됐다.(논문명 : Learning JPEG Compression Artifacts for Image Manipulation Detection and Localization)
또한, 이번 연구는 한국연구재단 창의도전연구기반지원사업지원과 KAIST 창업기업인 디지탈이노텍과의 산학협력 연구로 수행됐다.
[엄호식 기자(eomhs@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
엄호식기자 기사보기
[2024-04-18] 
.jpg)
