컬러 캐스트에 강한 피부영역 추출법

색 온도에 독립적인 특징과 색 온도에 종속되는 특징을 병용한 피부영역 추출

피부영역을 추출해 얻어지는 결과는 동작을 인식하거나 피부의 미백 보정 및 유해 화상의 필터링에 사용되는 등 다양하게 활용되고 있다. 한편, 디지털 카메라나 디지털 캠코더와 같은 촬영기기에 의해 취득된 화상은 촬영 환경이나 화이트밸런스 설정에 따라 색감이 다르게 발생한다. 그런 까닭에 필자들은 광원이나 촬영기기의 화이트밸런스 설정에 따른 색감변화에 강한 피부영역 추출법(제안 방법)에 대하여 연구하고 있다. 따라서 여기에서는 추출법의 개요 및 색감변화에 따른 평가실험 결과에 대하여 설명하고자 한다.

머리말

카메라 기기에 의해 촬영된 상황(광원이나 카메라 기기의 화이트 밸런스 설정 등)은 다양하게 나타난다. 디지털 카메라로 인물을 촬영하는 경우, 촬영환경에서 특수한 광원(예를 들면 형광등)이나, 또는 카메라 기기의 화이트 밸런스 설정의 영향으로 화상 전체에 색감의 변화가 발생하는 경우가 있다.

한편, 화상으로부터 얼굴의 검출, 손 등에 의한 동작인식, 피부의 미백 보정 및 유해 화상의 필터링 등을 목적으로 하며, 피부영역 추출의 검토가 이루어지고 있다. 지금까지 보고되어 있는 피부영역 추출법은 아래와 같다.

1. 색 공간에서 피부 분포의 조사결과를 토대로 피부로 간주하는 조건식을 설정하는 방법

2. 사전에 취득한 대량의 얼굴이 촬상된 화상을 사용하여 피부다움을 산출하는 방법(피부의 히스토그램 분포)

3. 피부영역 추출을 하는 대상의 화상에서 피부의 특징을 취득하여 피부다움을 산출하는 방법

필자는 피부영역의 추출을 목적으로 피부영역 추출을 하는 대상의 화상에서 피부의 특징(입술 주변영역의 색과 지수)을 취득하여 퍼지(fuzzy) 추론(애매모호함을 고려한 추론이 가능한 추론법)에 의해 피부영역을 추출하는 방법(이하 종래법으로 표기함)을 보고했다. 종래법은 개인차에 대응하여 피부의 추출이 가능하지만, 컬러 캐스트에 대응하는 것이 항상 관건이었다.

사람의 피부는 인종을 불문하고, 색상이나 채도가 유사한 경향을 가진다는 것이 보고되어 있다. 그러나 화이트밸런스 설정이나 광원의 영향에 따라 화상 중의 피부영역에 대응하는 색은 변화한다. 때문에 색감의 영향을 줄 수 있는 경우, 종래 보고되어 있는 방법에서는 피부영역의 추출은 어렵다고 알려져 있다.

따라서 이러한 컬러 캐스트에 대응할 수 있는 피부영역 추출법의 검토는 중요하다고 생각된다.

제안 방법

색감변화의 영향과 대책

태양광, 조명광 등의 영향에 따라 화상의 색감은 변화한다. 그런 까닭으로 USB 카메라의 화이트밸런스 설정(색 온도)을 3단계(색 온도 낮음~색 온도 높음)에서 화상을 취득하여 색감의 변화에 따른 화상의 색채와 히스토그램 분포의 영향을 조사하였다.

그림 1은 화이트밸런스 설정(색 온도)에 따른 원화상(인물 1명이 촬상되어 있음) 및 히스토그램의 변화를 정리한 그림을 나타낸다. 색 온도의 변화에 따라 화상 전체의 색감이 변화하고 있는 상태를 확인할 수 있다.

채도 히스토그램 : 색 온도의 상승에 따라 채도 히스토그램의 폭이 저채도 쪽으로 확대
명도 히스토그램 : 색 온도의 상승에 따라 명도 히스토그램이 저명도 쪽으로 이동한 경향이 있다.

또한, 색감 변화의 영향에 따라 화상은 이하의 경향을 가지고 있음을 확인하고 있다.

‘화상의 피부 색’≠‘종래 보고되어 있는 피부색으로 간주하는 기준 범위’일 것
피부와 피부 이외의 물체의 색감이 유사한 경향이 될 것

그래서 여기에서는 상기의 특징에 주목하여 컬러 캐스트에 대한 피부 영역 추출의 견고성 향상을 위하여

퍼지 추론에 의한 피부 영역 추출에서 ‘피부다움의 정도’에 대하여 피부 영역으로 간주하는 판단 기준을 화상 별로 자동 설정
색 온도 변화에 종속되는 특징(입술 주변 영역(피부를 포함)에서 채도 히스토그램 및 명도 히스토그램)에 착안하여 피부 이외의 물체의 잘못된 추출

에 대하여 검토하였다.

제안방법의 흐름

그림 2는 제안방법의 흐름을 나타낸다. 제안방법의 개요를 정리하면 다음과 같다.

1. Haar-like 특징에 착목한 얼굴 검출법을 사용하여 인물이 찍힌 화상(그림 2(a))에서 입술 주변의 영역을 검출한다. 구체적으로는 얼굴 검출법에 의해 취득한 얼굴 영역에서 입술과 피부를 포함하는 영역을 설정하였다(그림 2(b)).

2. 그림 3은 입술 주변의 영역에서 지각 색과 지수(a*) 및 색상 히스토그램 예를 나타낸다. 입술 주변 영역의 지각 색도 지수(a*) 및 색상 H는 피부와 입술에 대응하는 분포를 가지며(그림 3 참조), 이 경향은 색 온도(화이트밸런스)가 변화해도 유지된다는 것을 확인하고 있다. 때문에 색 온도에 독립적인 특징이라 할 수 있다. 그래서 여기에서는 색 온도에 독립적인 특징(지각 색도 지수(a*) 및 색상 H의 히스토그램에서 피부와 입술의 분포)을 사용하여 피부영역의 후보 화소(이하, 피부 영역 후보 A로 표기함)를 추출한다(그림 2(c)).

3. 색 온도에 종속되는 특징량(HSV 색 공간의 채도 S 및 명도 V)을 사용하여 피부영역의 후보 화소(이하, 피부영역 후보 B 및 피부영역 후보 C로 표기함)를 추출한다(그림 2(d), 그림 2(e)).

4. 처리 2~처리 3에서 추출한 3종류의 피부영역 후보 A~피부영역 후보 C의 AND를 취하여 피부영역으로 간주하였다(그림 2(f)).

여기에서는 색 온도에 독립적인 특징 및 색 온도에 종속되는 특징에 주목하여 검토했다. 개요를 설명하면 다음과 같다.

[색 온도에 독립적인 특징을 사용한 피부영역 후보 A 추출]

색 온도에 독립적인 특징을 사용한 피부영역 후보추출의 처리수순을 나타내면 다음과 같다.

1. 입술주변의 영역에서 취득한 색채정보를 이용하여 퍼지추론으로 ‘피부다움 정도’를 산출한다. 구체적으로는 퍼지규칙은 지각 색도 지수 a* 및 색상 H의 히스토그램을 사용하여 2종류로 설정하였다. 그림 4는 퍼지규칙 및 디퍼지화 처리의 개요를 나타낸다.

전건부 멤버십 함수는 히스토그램의 단점(최소치와 최대치), 역치 및 클래스의 평균 레벨을 사용하여 설정한다(그림 3, 그림 4(a)). 또한, 디퍼지화 처리에서는 하중 평균법에 의해 피부다움의 정도(이하, 피부다움 정도로 표기함)를 산출한다(그림 4(b)). 덧붙여 역치 및 클래스의 평균 레벨은 판별 분석법에 의해 산출하였다.

2. 피부에 대응하는 영역은 ‘피부다움 정도’가 높아진다. 그런 까닭으로 얼굴 주변의 ‘피부다움 정도’의 히스토그램에 판별 분석법을 시행하여 피부로 간주하는 역치 T를 설정한다(그림 5).

3. ‘피부다움 정도’에 대하여 역치 T 이상의 화소를 ‘피부 후보영역 A’에 대응하는 화소로 간주한다.

[색 온도에 종속되는 특징을 사용한 피부영역 후보 B 및 피부영역 후보 C 추출]

피부영역 후보 B 및 피부영역 후보 C의 추출처리 개요를 나타내면 다음과 같다. 또한, 그림 2(d)에 피부영역 후보 B를, 그림 2(e)에 피부영역 후보 C를 나타낸다(흰색 화소가 피부 영역 후보에 대응).

●피부영역 후보 B

입술 주변 영역에서 채도 히스토그램(채도 : HSV 색 공간의 채도 S)의 최소치에서 최대치 간에 존재하는 화소를 피부영역 후보로 간주한다(피부영역 후보 B).

●피부영역 후보 C

입술 주변 영역에서 명도 히스토그램(명도 : HSV색 공간의 명도 V)의 최소치에서 최대치 간에 존재하는 화소를 피부영역 후보로 간주한다(피부영역 후보 C).

실험

실험 환경

디지털 카메라를 사용하여 피험자 10명(a~j)을 촬영하였다. 형광등 아래에서 디지털 카메라를 사용하여 프리셋의 화이트밸런스 설정(맑음, 흐림, 백열등)의 영향에 의해 색감이 변한 화상을 취득하였다.

촬상 기기 : 디지털 카메라(산요 전기(주)製 Xacti DMX HD-700)
취득 화상 : 정지 화상(JPEG 형식)
화이트밸런스의 프리셋 설정 : 맑음, 흐림, 형광등, 백열등
촬영 환경 : 오피스 실내(형광등 아래)
피험자 수 : 10명

실험결과 및 검토

실험결과를 정리한 표를 표 1에 나타냈다. 원화상 예를 그림 6에, 피부영역 추출 결과의 예를 그림 7~9에 나타냈다. ‘성공’의 판정 기준은, 피부 이외의 영역이 과잉으로 추출되어 있지 않거나 얼굴 윤곽을 파악할 수 있을 때로 정의하였다.

카와하라 쯔카시들의 방법, 종래법 및 제안 방법의 실험 결과는 아래와 같다.

a) 카와하라 쯔카시들의 방법

색감이 변경된 화상을 실험 대상으로 하였다. 카와하라 쯔카시들의 방법에서는 피부영역의 추출에 실패한 사례가 많았다(성공은 40개의 화상 중 단 3화상). 원인은 다음으로 정리할 수 있다.

● 맑음, 흐림, 형광등 : 피부 이외의 물체가 과잉 추출되었다(그림 7(a)~그림 7(c)) 붉거나 누르스름함에 의해 피부 이외의 영역이 피부영역으로 잘못 분류된 것이 원인이다.

● 백열등 : 피부영역이 손실되었다(그림 7(d)). 푸르스름한 색감에 따라 피부도 푸른빛을 띤 색으로 변화되었기 때문에 피부로 판정되는 조건을 만족하지 않았던 것이 원인이다.

b) 종래법

화이트밸런스 설정 ‘맑음’에서는 피부영역의 추출은 8명으로 가능했지만, ‘흐림’ ‘형광등’ 및 ‘백열등’에서는 피부영역의 추출이 곤란했다. 원인은 다음과 같다.

● 흐림, 형광등 : 피부 이외의 물체가 과잉 추출되었다(그림 8(a)~그림 8(c) 붉거나 누르스름한 색감에 의해 퍼지추론에서 피부 이외의 영역이 피부영역으로 잘못 분류된 것이 원인이다.

● 백열등 : 피부영역이 손실되었다(그림 8(d)) 푸르스름한 색감에 따라 피부도 청색계로 변화되었기 때문에 퍼지추론에 의해 산출한 피부다움 정도의 저감이 원인이다.

c) 제안방법

화이트밸런스 설정(맑음, 흐림, 형광등 및 백열등)에 따른 색감에 대응이 가능하다는 것을 알 수 있었다.

● 맑음, 흐림, 형광등 : 종래법과 비교하여 제안방법은 오추출이 저감된 상태를 확인할 수 있다(그림 9(a)~그림 9(c)) 맑음, 흐림 그리고 형광등 각각에서 10명 전원의 피부영역 추출에 성공하였다.

● 백열등 : 10명 중 8명에게서 피부영역의 추출에 성공하였다(그림 9(d)) 또한 그림 10에 나타내듯이 피부영역의 추출에 실패한 사례에서는 피부 윤곽의 손실이 발생했지만, 퍼지 추론에 의한 피부다움 정도의 산출방법의 개량에 의해 개선 가능하다고 생각한다.

맺음말

피부영역의 추출결과는 동작(gesture)인식, 피부의 화장(미백 보정 등) 및 유해 화상의 필터링 등 활용의 기회가 많다. 한편, 디지털 카메라나 디지털 무비와 같은 촬상기기에 의해 취득된 화상은 촬영 환경이나 화이트밸런스 설정의 영향에 따라 색감의 변화가 발생한다.

그런 이유로 필자는 광원이나 촬상 기기의 화이트밸런스 설정에 따른 색감의 변화에 강한 피부영역 추출법(제안 방법)에 대하여 검토하게 된 것이다. 여기에서는 제안방법의 개요 및 색감의 변화에 대한 평가 실험결과에 대하여 보고하였다.

실험결과, 제안방법은 색감의 변화를 일으킨 40개의 화상 중 38화상으로 피부영역의 추출에 성공하였다. 구체적으로는 디지털 카메라의 화이트 밸런스 설정 ‘맑음’ ‘흐림’ ‘형광등’에서는 실험자 10명 전원에서 피부영역의 추출에 성공하였다. 또한, 화이트밸런스 설정 ‘백열등’에 있어서도 실험자 10명 중 8명에서 피부영역의 추출이 가능하다는 것을 알게 됐다.

상기의 결과는 색 온도에 독립적인 특징과 색 온도에 종속적인 특징을 병용한 제안방법이 색감의 변화에 견고성을 가지는 것을 시사하는 것이다. 앞으로는 형광등 아래에서 ‘화이트밸런스 설정 : 백열등(즉 푸르스름한 색감)’으로 촬영한 화상에 대하여 피부영역 추출 정밀도를 향상시키는 방법에 대하여 검토할 예정이다. 또한, 형광등 아래 이외의 촬영환경(예: 옥외, 백열등화 등)에서 취득한 화상에 대해서도 검토할 예정이다.

참고문헌

1) 디지털 포토편 : 「디지털 일안 레프의 의문 200+8」소프트뱅크 클리에이티브社(2008)

2) 하세가와 : 「디지털 카메라 ‘브로’가 가르쳐 주는 사진술」 코단社(2008)

3) J. Yang and A. Waibal, “A Real-Time Face Tracker,” Proc. Third Workshop Applications of Computer Vision, pp. 142~147(1996)

4) Stan Z.Li, Anil k. Jain, “Handbook of Face Recognition,” Springer(2004)

5) 쿠레, 타니우치다 : “퍼지패턴 대조를 사용한 색채 화상에서의 얼굴검출 시스템” 신학론 J80-D-H, No.7, pp.1774-1785(1997)

6) 아사누마, 오니시, 코도리, 후쿠나가 : “색 정보와 영역추적 정보를 이용한 인물의 얼굴과 손 영역의 추출” 전학론 C.Vol.119, No.11(1999)

7) 특허공개 2007-179517호, “화상 생성 방법 및 장치 그리고 화장 시뮬레이션 방법 및 장치”

8) 특허 공개 2008-033654호, “사진 화상 판별 방법, 사진 화상 판별 프로그램 및 사진 화상 처리 장치”

9) V.Vezhnevets, V. Sazonov, A.Andreeva, “A Survey on Pixel-Based Skin Color Detection Techniques,” Proc.GraphiCon(2003)

10) 카와라쯔카, 타카하시, 미야다 : 「View Frarne 2-마카레스 얼굴 부분 추출 방법을 이용한 “ViewFrame”」 예술 과학 논문지 VoL.3, No.3, pp.189~192(2004)

11) 오세키, 이토, 사토, 나카무라 : “복합 커뮤니티 공간에서 주목의 공유~주목 유도 행동에 의한 물체에의 추석 딸림~” 일본 Virtual Reality 학회 논문지, Vol.8, No.4, pp369~337(2003)

12) 사이, 니시다, 카게야마, 오오타키 : “색채 정보를 이용한 얼굴영역 추출에 관한 검토” 정보 처리 학회 전국 대회, 5p-1(2007)

13) 미즈모토 : “퍼지추론(1)” 일본 퍼지 학회지, Vol4, No.2, pp256~264(1992)

14) 시라사와, 니시다, 니시: “색채 정보를 사용한 퍼지추론에 의한 입술 형상 추출에 관한 검토” 전학론 C.Vol.125, No.9, pp1430~1437(2005)

15) 오오타키, 시라사와, 니시다 : “화이트밸런스의 변화에 견고한 피부영역 추출법에 관한 검토” 전자 정보 통신 학회 society대회, A421(2007)

16) P. Viola and M.J.Jones, “Rapid object detection using a boosted cascade of simple features,” IEEE CVPR(2001)

17) 오오즈 : “판별 및 최소 2승 기준에 의거한 자동 역치 선정법” 신학론(D), Vol.J63-D, No.4, pp349~356(1980)

<글 : 시로사와 요이치, 오오타키 켄타 | 알파 시스템>

[월간 시큐리티월드 통권 제144호 (info@boannews.com)]

3월 15일부터 시행되고 있는 개정 개인정보보호법과 관련해 가장 까다롭고 이행하기 어려운 조항은 무엇인가요?
	인공지능(AI) 등 자동화된 결정에 대한 정보주체 권리 구체화
	접근권한 관리 등 개인정보 안전성 확보조치 강화 및 고유식별정보 관리실태 정기조사
	영향평가 요약본 공개제도 도입 등 개인정보 영향평가제도
	영상정보처리기기 및 안전조치 기준
	개인정보 보호책임자의 전문성 강화 위한 전문CPO 지정
	국외 수집·이전 개인정보 처리방침 공개 등 개인정보 처리방침 평가제도
	손해배상책임 의무대상자 변경 및 확대
	공공기관 개인정보 보호수준 평가 확대
	기타(댓글로)