강한 조명 조건에서 효과적인 얼굴인식 기술

조명변화에 강한 전처리 및 얼굴특징

기존의 CS-LBP를 변형한 ECSP 전처리 기법과 조명에 강한 D2D-PCA 특징을 결합하는 얼굴인식 방법에 대해 살펴보면 얼굴인식 방법의 성능평가는 Yale B 데이터베이스 상에서 기존의 다양한 이진패턴 변환 영상과 얼굴인식에 널리 사용되고 있는 PCA 및 2D-PCA 특징을 이용해 수행됐다. 이 결과에 의하면 얼굴인식 방법은 다른 방법들에 비해 가장 높은 인식 성능을 보였으며, 조명 변화에 강한 얼굴인식 방법인 것을 알 수 있다.

김 동 주┃대구경북과학기술원 선임연구원(radioguy@dgist.ac.kr)

최근, LBP(Local Binary Pattern)(1)는 조명변화에 강한 전처리 방법으로 얼굴인식 및 표정인식 분야에서 소개돼, CBP(Centerized Binary Pattern)(2) 및 CS-LBP(Center Symmetric Local Binary Pattern)(3) 등과 같은 다양한 형태로 발전했다. 여기서 얘기하고자 하는 것은 기존의 이진패턴 변환 방법을 기반으로 얼굴 영상의 텍스처 성분을 보다 잘 표현할 수 있는 ECSP(Extended Center Symmetric Pattern)을 고안했다는 것이다. 이를 D2D-PCA(Differential Two-Dimensional Principal Component Analysis)(4)와 결합하는 얼굴인식 시스템 D2D-PCA는 조명변화에 강한 얼굴 특징을 표현하는 하나의 방법으로써, 이는 2D-PCA(Two-Dimensional Principal Component Analysis)(5) 행 벡터의 차이성분을 계산해 얻어진다. 이에 대한 성능 비교는 Yale B 공인 얼굴 데이터베이스 상에서 기존의 PCA(Principal Component Analysis)(6)와 2D-PCA 알고리즘을 이용해 수행됐고, 실험으로부터 조명 변화에 강한 얼굴인식 방법임을 확인할 수 있다.

효과적인 얼굴인식을 위한 제안

전처리

조명변화에 강한 얼굴인식을 위해 다양한 이진패턴 연산을 이용해 전처리를 수행했다. 특히, 기존의 이진패턴 연산을 변형한 ECSP 연산을 고안·적용함으로 성능 향상을 도모했다. 일반적으로, LBP는 그레이 레벨의 각 화소값을 이용해 에지, 점, 코너 등과 같은 얼굴의 로컬 텍스처 특징을 표현하는데 이용된다. 이 LBP는 조명에 민감하지 않은 영상 변환의 한 방법으로써, 수식 (1)과 같이 표현되며 현재 위치의 화소값과 이웃 화소값의 차이를 0과 1의 값으로 나타낸다.

수식 (1)에서 P와 R은 각각 인접 화소의 수와 원의 반지름을 의미하며, gc와 gp는 중심화소의 화소값 및 이웃화소의 화소값을 각각 의미한다. 그림 1은 임의의 영상블록에 대한 화소의 위치와 LBP 패턴 생성 방향을 도시하고 있다.

더불어, 얼굴 및 표정인식을 위해, 최근, CBP 및 CS-LBP와 같은 이진패턴이 제안됐다. LPB가 중심화소와 각각의 이웃화소들을 비교하는 것과는 달리, CBP는 중심화소의 영향을 고려한 이진패턴 변환 방법으로 CBP는 중심화소를 중심으로 대칭하고 있는 이웃화소들을 각각 비교하고, 전체화소의 평균값 gT와 중심화소 gc를 비교해 이진패턴을 생성하는 방법으로, 수식 (2)와 같이 표현된다.

CS-LBP는 CBP에서 중심화소와 평균값의 비교 과정을 수행하지 않고, 중심화소를 기준으로 대칭되는 이웃화소들과의 비교만을 수행하는 CBP의 변형된 방법으로 수식 (3)과 같이 계산된다.

기존 연구를 바탕으로, 얼굴의 텍스처 성분을 더 잘 표현하는 ECSP 변환 방법을 고안했다. 이 경우, ECSP는 기존의 CS-LBP의 변형된 형태로, 중심화소를 기준으로 대칭되는 주변화소 값들을 비교하는 방식은 CS-LBP와 동일하나, 이진패턴을 생성하는 과정에서 가중치를 다르게 해 패턴을 구성한다는 특징을 갖는다. 일반적으로, 얼굴의 텍스처는 수직이나 수평 방향의 성분보다는 대각 방향의 성분이 보다 더 중요한 정보를 포함한다. 이에, ECSP는 이진패턴을 생성하는 과정에서 대각으로 대칭되는 성분에 중요도를 높게 부여해 얼굴의 텍스처를 생성하며, 수식 (4)로 계산된다.

수식 (4)에서는 이진패턴 생성과정에서 비트 가중치를 결정하는 함수를 의미하며, P와 R이 8과 1일 경우, w(p)는 수식 (5)로 정의된다.

그림 2는 기존의 다양한 이진패턴 연산을 이용한 변환 영상과 ECSP 변환 영상의 예시를 보이고 있다. 그림 2로부터 ECSP 영상은 LBP, CBP 및 CS-LBP 영상보다 텍스처 성분이 보다 더 현저하게 표현되고 있음을 알 수 있다.

특징추출 및 인식

이 연구에서는 조명변화에 강한 특징추출을 위해 D2D-PCA를 사용했다(4). D2D-PCA는 2D-PCA가 line-based 특징 매트릭스인 점에 착안해 특징 행 벡터 사이의 차이 성분을 이용한 것으로, 특징 행 벡터 사이의 차이 성분이 조명변화에 보다 강인하다는 가정에 기반한다. 이는 D2D-PCA는 2D-PCA 특징벡터를 생성하고, 이들의 차이 성분을 계산해 얻을 수 있다. 먼저, 2D-PCA는 다음과 같은 과정으로 계산할 수 있는데 얼굴영상 크기가 인 이미지 행렬을 라 하고, 행들이 서로 정규직교하는 행렬을, X∈Rn×d, n≥d라 하면 이미지 행렬 A가 Y축에 투영된다면, m×d의 행렬은 Y=AX로 계산된다. 이때, 2D-PCA는 최적의 투영 행렬 X를 결정하는데, 이미지 행렬 샘플의 분산을 사용한다. 또, N개의 학습 영상 샘플을 Ak(k=1,2,···,N)라 하고, 학습 샘플들의 평균이미지를 라 하며 학습 얼굴 영상들의 이미지 공분산 행렬 G는 수식 (6)으로 계산된다.

이때, 최적의 투영 행렬 Xopt는 최대 고유치를 갖는 공분산 행렬 G의 d개의 고유벡터 X1, X2, ···, Xd로 구성되며, 공분산 행렬 G는 단지 n×n의 크기를 가지므로 고유벡터 Xopt는 매우 효율적으로 계산될 수 있다. 고유벡터 X는 n×d차원의 행렬이므로, 주어진 얼굴 영상 A(m×n)의 2D-PCA 특징벡터 Yk(m×d)는 수식 (7)과 같이 고유벡터의 축에 투영함으로써 계산된다.

다음으로, D2D-PCA 특징은 간단하게 2D-PCA 특징으로부터 얻을 수 있다. 2D-PCA는 m개의 행과 d의 열로 이루어진 벡터이므로 D2D-PCA는 수식 (8)과 같이 각 행벡터 사이의 차이를 계산함으로써 얻어진다. 여기서 yi는 i번째 행의 2D-PCA 행 벡터를 의미하며, dy는 D2D-PCA 특징벡터를 의미한다.

위와 같은 과정으로 추출된 D2D-PCA 특징은 2차원 행렬 형태로 구성되며, 유클리디언 거리 기반의 최근접 이웃 분류기를 통해 얼굴 인식은 수행된다.

D2D-PCA 특징추출 방법 조명에 효과적

여기서 말하는 얼굴 인식 방법이 조명변화 환경에 강인하고 효율적 인지의 여부를 평가하기 위해서 Yale B 공인 얼굴 데이터베이스를 성능평가에 사용했다(7). Yale B 얼굴 데이터베이스는 다양한 포즈와 조명 변화 환경에서 얼굴인식 알고리즘의 성능평가를 위해 구축된 공인 데이터베이스로 38명의 사람에 대한 정면 포즈의 64개 조명변화 환경에서 구축된 2,432장의 영상을 실험에 사용했다. 이와 함께 얼굴 인식 성능 평가는 그림 3과 같이 조명 변화가 거의 없는 5장의 영상을 학습에 사용했고, 나머지 영상을 테스트에 사용했다.

얼굴인식 실험은 원본영상, LBP, CBP, CS-LBP 및 ECSP 전처리 영상들과 PCA, 2D-PCA 및 D2D-PCA 알고리즘을 이용해 수행됐다. 실험결과, PCA, 2D-PCA 및 D2D-PCA를 사용한 특징차원에 따른 인식 결과를 그림 4, 그림 5, 그림 6에 각각 나타냈으며, 표 1에 성능평가 결과를 요약했다. 실험으로부터 ECSP 영상과 D2D-PCA를 결합한 제안 방법은 98.26%의 가장 높은 인식률을 보였다. 더불어, 다양한 전처리 영상을 고려해 성능을 비교했을 경우, 모든 알고리즘에 대해 ECSP 영상을 사용했을 때 가장 좋은 성능을 보였으며, 이로부터 제안하는 이진패턴 변환 방법의 효용성을 확인할 수 있었다. 또한 알고리즘에 따른 인식 성능을 비교했을 경우, D2D-PCA 특징이 조명에 가장 강한 특징추출 방법임을 알 수 있으며, 실험결과 및 방법의 효용성을 확인할 수 있었다.

조명 변화에 강한 얼굴인식을 위해, 이번 연구에서는 ECSP 전처리 기법과 D2D-PCA 특징추출 기법에 대해 알아봤다. Yale B 얼굴 데이터베이스에서 기존의 다양한 이진패턴 영상과 PCA, 2D-PCA 등의 알고리즘을 이용해 제안방법의 성능평가를 수행한 결과, ECSP 영상과 D2D-PCA를 결합한 제안방법이 98.26%의 가장 높은 인식률을 보였으며 이번 연구가 조명변화에 강한 효과적인 얼굴인식 방법임을 확인할 수 있다.

참 고 문 헌

(1) T. Ahonen, A. Hadid, and M. Pietikainen, Face Description with Local Binary Patterns: Application to Face Recognition, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 28, no. 12, pp. 2037-2041, 2006.

(2) X. Fu, and W. Wei, Centralized Binary Patterns Embedded with Image Euclidean Distance for Facial Expression Recognition, International Conference of Neural Computation, pp. 115-119, 2008.

(3) H. Marko, P. Matti, and S. Cordelia, Description of Interest Regions with Center-Symmetric Local Binary Patterns, Indian Conference on Computer Vision, Graphics and Image Processing, pp. 58-69, 2006.

(4) Sang-Heon Lee, Dong-Ju Kim and Jin-Ho Cho, Illumination-robust face recognition system based on differential components, IEEE Transactions on Consumer Electronics, vol. 58, no. 3, pp. 963-970, 2012.

(5) Y. Jian, Z. David, F. Alejandro, and J.Y. Yang, Two-dimensional PCA: A New Approach to Appearance-based Face Representation and Recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no. 1, pp. 131-137, 2004.

(6) M. Turk and A. Pentland, Eigenfaces for recognition, Journal of Cognitive Neurosci, vol. 3, no. 1, pp. 71-86, 1991.

(7) A. Georghiades, P. Belhumeur, and D. Kriegman, From few to many: Illumination Cone Models for Face Recognition under Variable Lighting and Pose, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 6, pp. 643-660, 2001.

<글 : 김동주 대구경북과학기술원 선임연구원>

[월간 시큐리티월드 통권 제198호(sw@infothe.com)]

우리나라 정보보호 수준 향상을 위해 이재명 정부에게 가장 바라는 점은 무엇인가요?
	ISMS 등 보안 인증 제도 실효성 개선
	AI 보안, 양자보안 등 보안 기술 연구개발 지원 확대
	중소 기업 보안 지원 확대
	기업 보안 예산 비율 의무화
	국가 정보보호 거버넌스 체계 정비
	기타(댓글로)