얼굴에 따른 개인 인증 기술과 그 응용

최근 범죄자나 테러리스트의 증가에 따라 바이오인식 기술의 필요성이 매년 높아지고 있다. 얼굴인식 기술은 비촬영자의 인증 동작을 필요로 하지 않는 점과 이력으로 남겨진 화상으로부터 본인 특정이 용이하다는 점 등 다른 바이오인식 기술에는 없는 우위성이 있다.

필자가 소속된 NEC에서 2010년 6월에 실시된 미국 국립표준기술연구소(NIST)의 바이오 인식기술 평가 프로그램(Multiple Biometric Evaluation)에 있어서 실제 범죄기록으로부터 추출한 160만 명분의 얼굴 화상을 이용한 평가에서 92%로 검색률 1위를 기록했다. 여기에서는 얼굴인식 기술 전반에 관해 개설하고, NIST에서의 평가결과와 NEC에서의 얼굴 검출 및 얼굴 대조 엔진 ‘Neo Face’을 사용한 사례를 소개한다.

처음으로

현대사회의 전자화와 오픈 네트워크화에 따라 본인 인증을 필요로 하는 기회가 점점 늘어나고 있다. 우리들 주변에서만 보더라도 컴퓨터의 로그인, 은행 ATM에서의 캐시 카드 이용, 크레디트 카드의 이용, 회사나 맨션에의 입·퇴실 등을 그 예로 들 수 있다.

통상 이러한 장면에서 개인 인증을 실시하는 경우에는 패스워드나 암호 번호 등을 이용하는 지식 인증이라고 불리는 방법 또는 마그네틱 카드나 IC 카드를 이용하는 소유물 인증이라고 불리는 방법이 일반적이다. 그러나 이러한 방법은 패스워드를 잊어버리고, 카드를 도둑맞거나 위조 당할 위험성이 있어 안전한 방법이라고는 말할 수 없다. 특히, 지식 인증은 사용 분야가 늘어났을 때 많은 패스워드를 계속해서 기억하는 것이 어렵다.

바이오인식 기술은 그러한 점에서 패스워드나 암호 번호에 의한 인증방법과는 다르며, 잊어버릴 일이 없다는 이점이 있다. 지금까지 바이오 인증에는 지문이나 정맥, 얼굴 등 다양한 특징을 사용하여 인증하는 방법이 제안되고 있지만, 얼굴 인증 특유의 이점으로써

(1)입력된 얼굴이 이력으로써 남기 때문에 부정 이용이나 잘못 인식된 경우에 그 본인의 특정이 용이하다. 또한, 부정행위를 사전에 방지하는 효과도 기대할 수 있다.

(2)원격으로 인증이 가능하다.

(3)비접촉형의 입력 디바이스를 사용할 수 있다는 점을 들 수 있다.

여기에서는 얼굴인식기술 전반에 대해서 설명하고, 인증 정확도의 평가방법에 대해서 기술한다. 다음으로 미국 국립표준기술연구소(NIST)의 바이오인식 기술 평가 프로그램을 통한 평가결과를 소개하고, 얼굴인식 기술의 응용 사례를 설명한다. 다음으로 얼굴인식 기술에 있어서의 향후 과제를 논의할 예정이다.

얼굴인식 기술의 개요

얼굴인식 처리 개요를 그림 1에 나타낸다. 우선 얼굴검출 처리를 실시하고, 화상 안의 얼굴 영역을 결정한다. 다음으로 얼굴 영역에 대해 눈동자 중심, 코 밑, 입 끝 등의 얼굴 위치를 찾고, 얼굴의 크기를 정규화한다. 마지막으로 데이터베이스에 등록되어 있는 얼굴 화상과의 대조를 실시하여 유사도를 산출한다. 얻은 유사도를 역치 처리함으로써 등록 인물과 대조 인물이 동일인인지 아닌지를 결정한다. 아래에 처리마다의 대표적인 방법을 소개하고, 인증 정확도에 대해서 설명한다.

얼굴 검출 처리

얼굴 검출을 실시하는 방법으로써 AdaBoost, 뉴럴 네트워크, GLVQ 등을 이용한 방법이 제안되고 있다. 입력 화상에 있어서의 다양한 얼굴 크기나 위치 차이에 대응하기 위해서 템플릿 사이즈를 일정하게 하고 화상을 일정 비율로 축소하여, 끝에서 순서대로 탐색하는 방법을 취하고 있다(그림 2). 그림 안의 직사각형 영역은 템플릿, 화살표는 탐색 순서를 나타낸다. 템플릿 상의 화상 영역을 추출하고 식별기를 이용하여 그 영역 내의 화상이 얼굴인지 아닌지를 결정한다(그림 3). 모든 영역에 대해서 판정함으로써 화상 안의 얼굴 영역을 결정한다.

얼굴 위치 검출 처리

눈이나 코의 영역이 다른 영역에 비해 어둡다는 성질을 이용하여 눈이나 코의 위치를 검출하는 방법을 쉽게 생각할 수 있다. 그럼에도 불구하고 조명 변동이나 눈썹 등의 다른 어두운 영역의 영향을 받기 쉽기 때문에 안정적으로 특징점을 추출하는 것은 쉽지 않다.

그래서 Elastic Bunch Graph Matching(EBGM)나 Active Appearance Model(AAM)이 이용되는 경우가 많다. EBGM에서는 얼굴 패턴 상에 설정된 몇 개의 특징점(예를 들면 눈동자 중심, 코 끝, 입 끝 등)을 단점(端點)으로 한 그래프(그림 4)에 의해 얼굴 패턴을 표현하고, 화상으로부터 추출된 특징점과 그래프의 형상을 이용하여 위치를 결정한다. 그에 따라 구한 얼굴 위치는 얼굴의 변형에 대해 로버스트가 된다. 한편 AAM에서는 얼굴 화상을 저차원의 부분 공간에서 표현하고 있기 때문에 자세 변동이 있는 경우에 대해서도 안정되게 위치를 추출할 수 있다.

얼굴 대조 처리

얼굴 대조 처리의 흐름을 그림 5를 이용하여 설명한다. 우선, 정규화된 등록 화상과 대조 화상 각각에 대해 특징 추출을 실시한다. 정규화 후의 화상도, 자세나 표정의 차이에 따라 위치가 다르고, 조명변화에 따른 휘도치의 차이가 있기 때문에 식별하기 위한 개인성을 남기면서 변동 성분을 흡수하는 특징을 이용하는 것이 바람직하다.

다음으로 시행된 식별 처리에서는 주성분 분석(Eigenface 법), 판별분석(Fisherface 법) 등이 알려져 있다. 얼굴인식 연구의 초기 무렵에는 노이즈 등의 성분을 억제하여 대조하는 Eigenface 법이 사용되었다.

그러나 주성분 분석에서는 개인 내의 변동을 고려하고 있지 않기 때문에 등록시와 대조시의 화상에 차이가 있는 경우에는 대응이 어렵다.

Fisherface 법은 개인 내 변동과 개인간 변동의 비를 최대가 되도록 학습하기 때문에 학습 데이터와 테스트 데이터의 분포가 가까운 경우에는 유효하다. 이에 대해 연구진들은 조명·자세와 같이 얼굴 모델에서 기술 가능한 변동과 경년 변화와 같은 모델에서 기술 곤란한 변동으로 나누어 기술 가능한 변동에 대해서는 화상을 생성하고 기술 곤란한 변동에 대해서는 판별 분석을 이용한 방법을 제안하고 있다.

그림 6에 얼굴 형상 모델과 조명 모델을 이용하여 원화상으로부터 생성된 자세 변동 화상과 조명 변동 화상의 예를 나타낸다. 이상에서 기술한 것처럼 화상 패턴의 변동 요인에 따라 모델 베이스의 방법과 학습 베이스의 방법을 훌륭하게 조합시키는 것이 중요하다.

인증 정확도

얼굴인식 시스템의 정확도는 본인거부율(False Rejection Rate : FRR)과 타인수락률 (False Acceptance Rate : FAR)의 2가지 지표를 이용하여 평가한다. 그림 7을 이용하여 이러한 2개의 지표 관계를 설명한다. 그림 7의 가로축은 얼굴 유사도, 세로축은 빈도를 나타낸다.

본인 대조 시의 유사도 분포와 타인 대조 시의 유사도 분포를 그림과 같이 나타내면 본인거부율은 역치 이하의 본인 대조 빈도(그림의 회색 부분)이고, 타인 수락률은 역치 이상의 타인 대조 빈도(그림의 사선 부분)이다. 이는 트레이드오프의 관계로 되어 있어 역치가 높아지면 타인수락률은 줄어들지만 본인거부율은 증가한다. 반대로 역치가 낮아지면 타인수락률은 증가하지만 본인거부율은 감소한다.

성능평가 결과

NIST에서는 얼굴 인증 기술에 관한 성능 평가를 1993년부터 수 년 간격으로 계속해서 실시하고 있다. NEC는 2010년에 실시된 최신 평가 프로그램 (Multiple Biometrics Evaluation10)에 참가하여, 범죄 기록으로부터 추출한 160만 명의 얼굴 화상에서 92%로 검색율 1위, 비자 신청 시 사용되는 180만 명의 얼굴 화상에서 95%로 검색율 1위라고 하는 높은 검색 정확도를 달성했다.

또한 160만 명의 검색에 필요한 시간은 화상 1장당 약0.4초로 고속으로 동작한다. 더욱이 대조오류율(FAR이 0.1%에서의 FRR)에 대해 범죄기록의 얼굴 화상에서는 4%, 비자 신청 얼굴 화상에서는 0.3%였다. 특히, 비자 신청 얼굴 화상에 있어서의 대조오류율은 다른 참가 조직에 비해 거의 1자리 높은 성능을 가지고 있다.

대조 평가 예

그림 8에 대조 결과 예를 나타낸다. 왼쪽이 대조 화상이고 오른쪽이 등록 화상이다. 상단의 대조 화상과 등록 화상은 동일인물의 화상이며, 하단의 대조 화상은 다른 인물의 화상이다. 대조 스코어는 가운데 열에 막대그래프로 표시되어 있으며 역치 이상의 경우에는 본인이고 역치 이하인 경우는 타인으로 판정된다는 것을 의미한다.

상단의 결과는 대조 스코어가 역치보다도 높기 때문에 본인으로 판정되고, 하단의 결과는 대조 스코어가 역치보다도 낮기 때문에 타인으로 판정되었음을 보여주고 있다. 본 예인 상단의 대조 화상과 등록 화상에서는 약 23년 간의 변화가 있지만 올바르게 대조되었다는 것을 알 수 있다.

얼굴인식 기술의 응용 사례

International Biometric Group의 조사에 따르면 2009년의 바이오인식 분야 전체 시장은 34억 달러로, 그 가운데 얼굴 인증은 11.4%이다. 5년 후인 2014년에 바이오인식 시장은 94억 달러로 확대될 것으로 예상되고 있다. 국내에서도 IC 여권 발행이 2006년 3월부터 시작되어 그 가운데 얼굴 화상 정보가 기록된 IC칩이 들어 있다. 또한, 외국인 입국자에 대해서는 얼굴이나 지문의 개인 식별 정보 제공이 의무화되어 있으며, 범죄자 리스트 중에서 일치하는 인물에 대해서는 입국을 거부하고 신병을 구속할 수 있다. 아래에 NEC에서 개발한 얼굴 검출·얼굴 대조 엔진 ‘NeoFace’를 활용한 사례를 소개한다.

홍콩 입국관리국에 있어서의 출입국 관리 시스템

홍콩 입국관리국에서는 출입국 심사 때 승차한 채로 얼굴 인증을 실행하여 자동으로 본인 식별을 실시하는 출입국 게이트 관리 시스템을 2007년부터 도입했다. 홍콩에서는 전체 주민의 ID카드화가 실현돼 있어 개인 식별정보가 등록되어 있다. 또한, 차량마다 운전자가 일대일로 등록되어 있어 차량번호로 운전자를 특정할 수 있기 때문에 출입국 게이트 진입 시에 차량번호를 식별하여 운전자를 특정할 수 있다. 운전자가 얼굴 인증을 통해 본인임이 확인되면 출입국 업무가 완료되고 게이트가 열린다. 이 시스템은 비접촉이라고 하는 얼굴인식의 이점을 살려 승차한 채로 인증을 실시할 수 있기 때문에 심사를 원활하게 진행할 수 있다.

마지막으로

여기에서는 얼굴인식 기술에 관한 최근의 동향을 해설했다. 다음으로 얼굴인식 기술이 더욱 보급되기 위해 극복해야 할 과제를 나타낸다.

(1)얼굴 화상 패턴 변동에 따른 식별 성능의 문제

얼굴 인증은 어느 정도 떨어진 거리에서도 촬영이 가능하기 때문에 편의성이 높은 반면 조명과 자세 등 촬영 환경의 영항을 받기 쉽다. 조명 변화에 대해서는 야외에서 촬영된 화상 등 성능 열화의 요인으로 생각되어 왔다. 그러나 2009년에 실시된 NIST의 평가에서는 야외를 포함한 조명 변화가 큰 화상군에 대해서 대조 오류율은 NEC가 2%, 미국 L1사가 7 %로 높은 식별 성능을 가지고 있다.

이와 같이 조명 변동에 관해서는 기술적 진보에 따라 큰 과제로 여겨지지 않게 되었다. 한편, 자세 변화에 대해서는 동시에 실시된 NIST 평가에서 크게 성능이 저하한다는 사실이 보고되고 있다. 예를 들어 옆 얼굴이 많이 포함된 정지 화상 대조 테스트에서 대조 오류율은 약 80%이다.

또한 웹 상에 게재된 화상을 수집한 대각선 방향의 얼굴 등 비정면 얼굴을 많이 포함한 화상 데이터베이스 LFW DB(Labeled Faces in the Wild)에서는 EER(FAR과 FRR이 동일한 점)가 약 10%이다. 비정면에서의 얼굴 인증은 향후 과제이며 앞으로 개선이 기대되는 영역이다.

(2)비협력형 인증에 대한 응용

얼굴 인증은 다른 바이오인식 기술과 달리 먼 거리에서도 식별하기 쉬운 특징을 가지고 있는 것이 장점이다. 여기에서는 주로 정면을 향해서 인증하는 협력형의 인증에 대해 설명했지만, 얼굴 인증은 비디오에 찍힌 인물을 자동으로 검색하는 비협력형의 인증에서도 이용할 수 있다. 비협력형 인증의 경우, 일반적으로 정면을 향해 있지 않기 때문에 (1)에서 기술한 자세 변동에 따른 식별 성능 저하의 영향이 크다.

또한 화면상에 찍힌 얼굴이 작기 때문에 개인 식별을 위한 충분한 해상도의 화상을 얻을 수 없는 경우도 많다. 더욱이 동영상의 경우는 카메라 앞을 지나가는 시간이 짧기 때문에 처리속도의 고속성이 요구된다. 즉, 비협력형 인증에 이용하기 위해서는 자세 변동과 화질 저하에 대한 높은 대응성과 실시간 처리가 가능한 고속성을 모두 겸비할 필요가 있다. 향후에는 이러한 기술이 개발되기를 기대한다.

정리

여기에서는 얼굴인식 기술의 개요와 응용 사례 그리고 향후 과제에 대해 언급했다. 앞으로 자세 변동이 있을 경우와 희미한 화상에 대한 인증 성능이 개선됨으로써 얼굴인식 기술은 보급이 크게 확대될 것으로 기대된다.

<글 : 이마오카 히토시(Imaoka Hitoshi) / 일본전기(주)>

3월 15일부터 시행되고 있는 개정 개인정보보호법과 관련해 가장 까다롭고 이행하기 어려운 조항은 무엇인가요?
	인공지능(AI) 등 자동화된 결정에 대한 정보주체 권리 구체화
	접근권한 관리 등 개인정보 안전성 확보조치 강화 및 고유식별정보 관리실태 정기조사
	영향평가 요약본 공개제도 도입 등 개인정보 영향평가제도
	영상정보처리기기 및 안전조치 기준
	개인정보 보호책임자의 전문성 강화 위한 전문CPO 지정
	국외 수집·이전 개인정보 처리방침 공개 등 개인정보 처리방침 평가제도
	손해배상책임 의무대상자 변경 및 확대
	공공기관 개인정보 보호수준 평가 확대
	기타(댓글로)