최근 몇 년 동안 보안 분야에서 편리성과 수용성의 요구가 높아짐에 따라 얼굴인증이 주목을 끌고 있다. 여기에서는 수동형 스테레오 비전을 이용한 2D·3D 복합 얼굴인증 기술에 대해서 설명한다. 주요 개발 기술로는 위상한정상관법에 준하는 수동형 스테레오 비전을 사용한 고정밀도 3D 얼굴계측 기술과 밝기 및 얼굴 방향 등의 여러 가지 변화에 대해 로버스트 성을 활용한 2D·3D 복합 얼굴인증 알고리즘이 있다. 이러한 기술을 탑재한 프로토 타입 시스템 개발현황과 2년간에 1만회를 넘긴 양호한 운용실적을 소개하고자 한다.
시작하면서
현대 정보사회에 있어서 시큐리티는 중요한 키워드 중에 하나로 신뢰성이 높고 편리성이 뛰어난 개인인증 시스템이 점차 중요해지고 있다. 일반적으로 이용되고 있는 개인인증 시스템에서는 패스워드, IC 카드, 열쇠, 바이오정보 등이 있다. 이들 중에서도 바이오정보를 이용한 개인인증 시스템은 기억이나 소지를 필요로 하지 않는 것, 도난의 위험성이 낮은 점 등 여러 가지 장점으로 주목받고 있다. 필자들의 연구그룹에서도 바이오정보를 통한 개인인증 기술에 빠르게 착안해서 지금까지 여러 용도의 지문인식 시스템(그림 1)을 개발하고 있다. 또한, 최근 몇 년 사이에는 편리성과 수용성의 요구가 높아짐에 따라 주목을 끌고 있는 얼굴인증 기술에 착안해서 2D·3D 복합 얼굴인증 기술의 연구개발을 진행하고 있다. 현재 제품의 프로토 타입은 시작·평가 단계이지만 다른 기법과 비교해서 매우 독창적인 기술로 완성되고 있으므로 여기에서는 이 얼굴인증기술에 대해서 상세히 살펴본다.
3D 얼굴인증
현재까지 연구되고 있는 얼굴인증 기술은 보통 카메라 등으로 촬영한 화상 데이터(2D 데이터)를 이용한 2D 얼굴인증과 3D 스캐너 등에서 취득한 얼굴의 형상 데이터(3D 데이터)를 이용한 3D 얼굴인증으로 분류된다. 2D 얼굴인증에 관한 연구는 오래 전부터 왕성하게 행해져 왔는데 비해 3D 얼굴인증에 관한 연구는 역사가 짧아서 여전히 주류는 2D 얼굴인증이다. 그렇지만 2D 데이터만으로는 밝기 문제와 얼굴 방향이 바뀐 경우에 인증 성능이 저하 되는 문제가 있다. 2D 얼굴인증 기술의 한계를 극복하는 기술로써 3D 내지는 2.5D 정보를 사용한 얼굴인증이 주목받고 있다.
지금까지 제안되고 있는 3D 얼굴인증 기법에는 얼굴의 3D 가변 모델을 사용한 기법, PCA（Principal Component Analysis）을 사용한 기법, ICP(Iterative
Closest Point）알고리즘을 사용한 기법 등이 있는데, 각각에 대해서 간단하게 정리해보면 다음과 같다.
우선 얼굴의 3D 가변 모델을 이용한 기법에서는 우선 얼굴의 2D 화상을 입력하고 입력된 화상의 얼굴에 가장 비슷한 얼굴의 화상을 생성하도록 3D 모델을 변형시킨다. 그리고 가장 비슷한 얼굴 화상이 생성되었을 때 얻을 수 있는 파라미터를 그 인물을 나타내는 특징량으로써 이용한다. 인증은 특징량 간의 거리를 이용해 행해진다.
PCA를 사용한 기법은 2D 얼굴 인증에서 널리 알려져 있지만 3D데이터를 이용하는 경우에는 화상의 휘도치 대신에 3D 데이터의 입체 깊이 정보가 이용된다. 2D 화상을 이용할 경우에 비해 3D 데이터를 이용하면 얼굴의 방향을 보정하는 것이 가능하기 때문에 자세 변화에 대해서 정확한 인증을 기대할 수 있다.
또 3D 데이터의 위치 맞춤 기법으로써 널리 알려져 것으로 ICP 알고리즘이 있지만 등록되어 있는 3D 얼굴 데이터와 입력된 3D 얼굴 데이터와의 사이에서 이 ICP 알고리즘을 적용하는 것으로 비교적 심플한 방법으로 인증을 하는 것도 가능하다. 즉, 2개의 3D 데이터 사이의 거리가 위치 맞춤에 의해 충분히 좁아지는 것 같으면 그것들은 동일인물의 데이터라고 가정할 수 있다.
이와 같이 주목을 끌 수 있는 3D 얼굴인증이지만 이것들 모두에 공통되는 과제로 어떻게 얼굴의 3D 데이터를 취득할 것인가 하는 문제가 주어진다. 3D 계측기술에는 레이저 광이나 패턴 광을 이용한 능동형 계측과 카메라만으로 계측을 하는 수동형 계측이 있다. 일반적으로 능동형 계측이 고정밀도이고 필자가 아는 한 종래의 3D 얼굴인증 기술은 거의 예외 없이 능동형 계측 시스템에서 얻을 수 있는 3D 데이터를 이용하고 있다. 그러나 얼굴에 레이저 등의 특수한 빛을 비추는 것은 안전 측면과 심리적 측면에서 바람직하지 않고 또 시스템의 고비용화로 연결되므로 이에 대해서는 거의 논의가 이루어지지 않았다.
그래서 필자들은 스테레오 비전을 이용한 수동형 3D 계측에 착안해서 연구개발을 진행해 왔다. 수동형 스테레오 비전으로는 환경광만으로도 계측을 하는 것이 가능하기 때문에 얼굴인증 용도로 적합하다. 이제부터는 주로 스테레오 비전을 바탕으로 한 수동형 3D 계측에 대해서 설명한다.
수동형 스테레오 비전을 이용한 3D 얼굴계측 기술
수동형 계측의 대표적인 예인 스테레오 비전은 2개의 카메라를 나란히 배치한 스테레오 카메라를 이용해서 3D 데이터를 취득한다. 이 스테레오 비전에 따른 3D 계측에서는 2개의 화상 사이에서 화소의 대응입력을 행하는 대응점 탐색 알고리즘의 선정이 중요해진다.
이 대응입력 정도가 3D 계측 정밀도를 좌우하기 때문에 일반적으로 서브픽셀(sub pixel) 정밀도의 대응입력이 필수이다. 또 스테레오 비전에 의한 3D 계측의 정밀도를 결정짓는 요인으로써 기선장(Baseline Length) 즉, 카메라 간의 거리가 있다. 기선장이 큰 만큼 정밀도가 높은 계측이 가능해지지만 얻을 수 있는 2개 화상 사이의 변형이 커지기 때문에 화상 안의 특징점 등의 한정된 부분밖에 계측할 수 없는 문제가 생긴다. 일반적으로 얼굴의 3D 데이터를 이용해서 인증을 하는 경우에는 정밀한 형상이 필요하므로 필연적으로 기선장은 짧게 하지 않을 수 없기 때문에 그만큼 스테레오 화상의 대응입력 정밀도를 향상시켜 3D 계측 정밀도가 떨어지는 것을 방지해야 한다.
보통 대응점 탐색을 위해서는 대응 후보점 부근에서 자른 국소적인 화상 블록에 대한 매칭이 이용된다. 이 블록 매칭의 척도로서는 종래 SAD(Sum of Absolute Differences)와 SSD(Sum of Squared Differences) 등이 널리 이용되어 왔다. 이것들은 계산 코스트가 뛰어나지만 고정밀한 3D 계측을 목적으로 할 경우 로버스트성과 위치 맞춤 정밀도의 관점에서는 불충분했다.
이러한 문제에 대해 필자들은 스테레오 화상 대응입력에 위상한정상관법을 이용하고 있다. 위상한정상관법은 필자들의 그룹에 의해 개발된 고정밀도 화상 매칭 기술이며, 화상 조합과 화상 레지스트레이션(위치 맞춤)의 관점에서 특히 뛰어난 성능을 나타낸다. 당초에는 지문 인증(그림 1)을 위해서 개발된 기술이었지만 이후 그 적용범위가 확대되어 현재는 매우 광범위한 응용분야를 포괄하고 있다. 그 중에서도 특히 생체 화상의 조합에 있어 매우 높은 유효성을 나타내는 것이 증명됐고 지문인증뿐만 아니라 홍채인증과 장문인증에 있어서도 높은 성능을 발휘하고 있다. 그림 2에 위치가 다른 2장의 화상 사이에서 계산되는 위상한정상관함수의 예를 나타낸다.
이 위상한정상관법을 스테레오 화상의 대응입력에 이용하는 것으로 SAD와 SSD를 이용한 경우에 비교해서 높은 3D 계측 정밀도를 달성할 수 있다. 또 블록 매칭에서는 대상의 텍스처가 중요하지만 얼굴 화상은 그만큼 명료한 텍스처가 없다. 이로 인해 가령 스테레오 화상을 취득할 때 랜덤 패턴을 투영해서 강제적으로 텍스처를 부가하는 방법 등이 자주 이용되지만 위상한정상관법에서는 그런 패턴 투영을 하지 않고도 충분한 정밀도로 3D 계측을 하는 것이 가능하다.
기준물체로서 반경 약 100mm의 원을 이용해서 이것을 약 50cm 떨어진 위치에서 위상한정상관법에 준하는 스테레오 비전 시스템으로 3D 계측을 했을 때 얻을 수 있는 3D 데이터에 대한 원의 방정식 적용오차는 0.5mm 이하(2승 평균제곱근)였다. 또 실제로 인물의 얼굴을 3D 계측한 예를 그림 3에 나타낸다. 이것보다 카메라만으로 구성된 간편한 시스템을 이용해서 고정밀도로 얼굴의 3D 데이터 취득이 가능하다는 것을 알 수 있다.
2D·3D 복합 얼굴인증 알고리즘
지금까지 3D 얼굴인증 가운데 필자들이 착안한 수동형 스테레오 비전에 대해서 말했다. 3D 얼굴인증은 2D 얼굴인증에 비해서 얼굴의 방향 변화 등에도 비교적 정확한 측정이 가능하지만 이용자의 자세를 어느 정도 컨트롤 할 수 있는 환경 하에서는 반드시 모든 경우에서 3D 데이터를 이용할 필요는 없다고 생각한다. 특히, 스테레오 비전을 이용한 3D 계측에서는 촬영한 스테레오 화상에서 3D 데이터를 생성할 때의 계산 코스트가 비교적 높고 또 높은 성능을 얻기 위해서는 고정밀도인 3D 데이터를 이용해 인증처리를 할 필요가 있기 때문에 1대N 인증을 할 경우에는 상당한 계산시간이 필요하다. 이 문제에 대해 필자들이 개발한 얼굴인증 기술은 2D 인증과 3D 인증을 조합해서 계산시간, 인증성능 모두에서 충분히 실용 가능한 목표수준을 달성했다. 아래에 그 개요를 설명한다. 이 기법은 3D 인증에는 ICP 알고리즘을 이용하고 있다. 즉 등록되어 있는 3D 데이터와 입력된 3D 데이터와의 사이에서 ICP 알고리즘에 의한 위치 맞춤을 해서 결과적으로 2개의 데이터 사이의 거리가 충분히 좁아지면 인증 성공으로 간주한다. 위상한정상관법에 준하는 고정밀도 스테레오 비전에 의해 고품질 3D 데이터를 취득할 수 있기 때문에 단순히 위치 맞춤을 하는 것만으로 충분한 인증 성능을 얻을 수 있다. 그러나 ICP 알고리즘은 3D 데이터 사이의 최근 방점의 대응입력을 반복해서 위치 맞춤을 하는 기법이며 고밀도 3D 데이터라면 최근 방점 탐색에 높은 계산 코스트를 필요로 하기 때문에 1대N 인증에는 맞지 않는다.
그래서 필자들은 보통의 얼굴인증 시스템에서는 이용자는 카메라를 정면으로 보는 경우가 대부분이라는 것에 착안해서 먼저 비교적 계산 코스트가 낮은 2D 인증을 한 후에 필요에 따라 3D로 바꾸는 방법을 취하고 있다. 보통 2D 인증과 3D 인증은 완전 다른 기술이 필요하지만 필자들은 등록 얼굴화상과 입력 얼굴화상과의 사이에서 위상한정상관법에 따른 대응입력을 하는 매우 간단한 2D 인증 기법을 이용하고 있다. 다른 타이밍에서 촬영된 화상이라도 동일인물이라면 신뢰성 높은 대응점을 많이 얻을 수 있고, 타인이면 신뢰성이 낮은 대응점 밖에 얻을 수 없기 때문에 이것을 기준으로 개인 식별이 가능하다.
이처럼 개발한 2D·3D 복합 얼굴인증 기술은 위상한정상관법에 준하는 화상 대응입력을 기본 기술로 해서 2D 인증과 3D 인증 모두를 이용하고 있다. 다시 말해 등록화면과 입력화상의 직접적인 대응입력에 의해 2D 인증을 실행하기 위해서는 화상 간에 카메라와 얼굴의 거리 변화 등을 정규화하는 것이 불가결하지만 개발한 기술로는 스테레오 화상에서 거리 추정 등이 가능하기 때문에 용이하고 정확하게 정규화를 할 수 있다. 이 정규화에 의해서 위상한정상관법에 의한 대응입력이 가능해지고, 높은 로버스트성과 정밀도로 인해 2D 인증에서도 높은 인증 성능을 얻을 수 있는 것을 확인하고 있다.
필자들이 개발한 얼굴인증 기술에서는 먼저 상기의 2D 인증을 하고, 인증에 실패했을 경우에만 ICP 알고리즘을 이용한 3D 인증으로 바꾼다. 3D 인증에 비해서 2D 인증이 계산 코스트가 낮기 때문에 눈동자 사이의 거리(동간거리)를 이용한 추출 수치와 조합하는 것으로 1대 N 인증에서도 충분히 빠른 속도로 인증을 할 수 있다. 또한, 필요에 따라서 3D 인증으로 전환하는 것으로 2D 인증에서는 어려운 비정면 얼굴도 정확하게 인증할 수 있다. 뒤에 기술할 프로토 타입 얼굴인증 시스템 에서는 N=40의 경우 약 1초로 인증을 실현하고 있다.
프로토 타입 시스템 개발 및 실증실험
지금까지 서술한 2D·3D 복합 얼굴인증 기술에 준하는 얼굴인증 시스템의 프로토 타입 개발에 대해서 기술한다. 그림 4, 5는 개발한 프로토 타입의 외관을 나타낸다. 스테레오 카메라를 구성하는 2대의 카메라는 Point Gray Research SCOR-14SOM-CS（12bits digital resolution, 1280×1024 pixels, monochrome, IEEE-1394)를 이용하고 있다.
이 시스템은 2대의 카메라를 가능한 한 가까이 붙인 매우 콤팩트한 스테레오 카메라로 기선장이 짧기 때문에 얼굴의 3D 형상을 전체적으로 정밀하게 취득할 수 있다. 카메라 앞에 서는 것만으로 인증이 개시되어 인증에 성공하면 savic-netFXTM 시큐리티 시스템과 연동해서 전기 자물쇠의 해정과 입·퇴실 이력 보존이 가능하다. 2008년 5월부터 실제로 실험실 입구에 이 시스템을 설치하고 장기간에 걸쳐서 필드테스트를 하고 있다. 현재 등록 인원수는 약 40명(N=40)으로 최초 등록한 얼굴 데이터는 거의 다시 등록하는 일 없이 운용하고 있다. 운용개시에서 벌써 2년이 경과해 사용횟수는 총 만회를 넘었지만 큰 문제없이 밝기, 얼굴방향, 선 위치, 표정, 안경, 두발, 수염 등 여러 변화에 대해서도 정확한 인증을 실현하고 있다. 또 이용자가 ID 번호 등을 입력할 필요 없이 1대N 인증을 하고 있지만 인증에 필요한 시간은 2D 인증일 경우 약 0.7초이고, 3D 인증까지 한다고 해도 약 1.2초이다.
이 시스템에서의 인증결과 화면을 그림 6에 나타냈다. 왼쪽 아래에 표시한 등록 화상은 2년 전에 등록된 데이터이고 카메라와 얼굴의 거리와 얼굴방향 등을 의도적으로 변화시켜 입력 했지만(그림 6. 오른쪽 아래) 문제없이 인증에 성공한 것을 알 수 있다. 다시 말해 필자들이 독자적으로 구축한 얼굴 화상 데이터베이스를 이용한 실험에서는 피험자 약 1,300명에게 얼굴 데이터를 각각 2세트씩 수집하고 약 300만회의 인증을 해서 EER（Equal Error Rate）= 1.58%라는 양호한 실험 결과를 얻었다.
마치면서
여기에서는 현재 주목을 끌고 있는 3D 얼굴인증에 대해서 설명했다. 먼저 필자들이 주목하는 수동형 스테레오 비전에 의한 3D 얼굴 계측에 대해서 위상한정상관법을 이용하는 것으로 고정밀도의 계측이 가능하다는 것을 설명했다. 그리고 이것에 준하는 2D·3D 복합 얼굴인증 기술에 대해 알아봤으며, 프로토 타입 얼굴인증 시스템의 개발·운용을 통해서 이번 기술의 유효성을 나타냈다. 필자들은 이 연구를 통해서 차세대 시큐리티 시스템의 코어 기술이 될 수 있는 3D 계측 기술, 고정밀도로 실용적인 얼굴인증 기술을 개발해 안심·안전·안락한 사회실현에 공헌하고 싶다.
※감사의 말씀
실리콘 망막 센서의 기술개발에 있어서 오사카대학 대학원 공학연구과 야기 연구실로부터 많은 기술 지도를 받았기에 감사의 말씀을 전하고 싶다.
<글 : 나카시마 히로시(Nakasima Hiroshi)·나카지마 히지리(Nakazima Hiziri) / (주)야마타케, 아오키 타카후미(Aoki Takahumi) / 동북대학교>
<저작권자: 보안뉴스(http://www.boannews.com/) 무단전재-재배포금지>
권준기자 기사보기
[2024-05-12] 
