빛에 의한 색채와 음영의 변환에 따른 선예(鮮銳) 화상 생성법

시로이 케이이치로우(shiroi keiichirou) / 신슈 대학

머리말

최근 디지털 카메라와 비디오카메라, CCTV 등 다양한 카메라의 보급에 따라 카메라 성능이 비약적으로 향상되고 있다. 하드웨어 면에서는 고감도의 이면 조사형 CMOS 센서의 등장, 소프트웨어 면에서는 하이 다이내믹 레인지 합성의 등장으로 인해 눈으로 보고 느낀 풍경을 촬영할 수 있게 되었다. 그러나 여전히 광량이 적은 어두운 곳에서는 손떨림이나 노이즈가(이전부터 개선되고 있다고는 해도) 생기기 쉬워 해결해야 할 과제로써 남아 있다.

어두운 곳에서의 촬영이 어려운 이유에는 우선, 노광 부족을 보충하기 위해 노광 시간을 길게 하면 손 떨림이나 피사체의 움직임에 의한 보케(Bokeh)가 생기고, 수광 감도를 높여 노광 시간을 짧게 하면 고감도 노이즈가 현저해 지는 트레이드오프 문제가 생긴다(그림 1). 더욱이 라이트 업 된 장면을 촬영하게 되면 분위기를 연출하는 촛불이나 라이트 등의 광원이나 광량을 보호할 필요가 있어 논 플래시에서의 촬영이나 플래시를 바운스 시킨 촬영이 필요하다. 이 경우, 노광 부족에 의해 더욱 심해져 앞에서 기술한 보케와 노이즈의 문제가 보다 확실히 드러난다.

최근 어두운 곳의 화상 보정법

어두운 곳 촬영에서의 보케나 노이즈를 제거하는 방법으로는 단일 화상에서의 보정법에 한계가 있기 때문에 최근 들어서는 복수의 촬영 조건이 다른 화상을 이용하는 보정법이 주류를 이루고 있으며 크게 나누어 2가지의 어프로치로 연구가 진행되고 있다.

첫 번째는 보케 제거법을 이용함으로써 장시간 노광과 단시간 노광의 화상 조를 이용한다1). 장시간 노광으로 생긴 보케를 보정해 나갈 때 보조 화상으로서 단시간 노광으로 얻은(노이즈는 생기지만 윤곽은 선명한) 화상을 이용해 보케 보정 시에 윤곽이 가능한 한 단시간 노광 화상에 가까워지도록 처리한다.

두 번째는 에지 보존 평활화를 이용해 화상의 대략적인 색조와 모양·윤곽을 새로 편성함으로써 논 플래시 화상과 플래시 화상(또는 근적외선 화상)의 조를 이용한다2). 색조 화상은 논 플래시 화상을 평활화한 것으로 윤곽 화상은 플래시 화상을 평활화해 자기 자신으로부터 차감한 것이 된다. 이러한 성분 화상을 서로 더해 합성한다. 평활화시에는 논 플래시 화상의 선명하지 않은 윤곽이 무너지는 것을 막기 위해 평활화용 필터 무게를 윤곽이 선명한 플래시 화상으로부터 얻어 처리한다.

위 두 가지 방법의 문제점은 보케 제거법에서는 윤곽에 따라 링깅 노이즈가 생기기 쉽다는 점과 평활화법을 기본으로 한 방법에서는 모양의 일부가 평활화의 영향으로 없어진다는 점을 들 수 있으며, 둘 다 윤곽의 복원이라고 하는 어려운 문제에 중점을 두는 것에 기인하고 있다.

색채와 음영의 변환에 의한 어프로치

많은 종래법의 어프로치는 어두운 곳 본래의 분위기를 나타내고 있는 논 플래시 화상을 처리 대상으로 하며 보조 화상에 의해 그럴듯한 보정 결과로 이끄는 방법을 취하고 있다. 그러나 반대로 보조화상을 수정해 논 플래시 화상과 같이 보이게 하는 것도 결과적으로 장면의 분위기를 재현하고 있다면 처리 후보의 하나로써 생각할 수 있다. 때문에 현재의 화상 처리 수법을 이용하면 충분히 가능하다.

화상의 색채와 음영을 변환해 다른 촬영 조건에서의 화상으로 보이게 하는 방법으로 색채에 대해서는 착색화법3)이나 화이트 밸런스 조정법이 있으며, 음영에 대해서는 음영 제거법4)이 있다. 이 방법에서는 대상 화상의 윤곽을 조작하지 않고 사람의 눈으로는 변화를 파악하기 어려운 색채와 음영을 보정하기 때문에 보다 자연스러운 처리 결과를 얻을 수 있다는 이점이 있다.

또, 최근 화상 처리의 트렌드로써 종래의 화소와 근방 화소의 색 연속성을 고려하는 필터 처리에 대해 화소보다도 넓은 영역 단위에서의 영역 특징 연속성을 고려하는 흐름이 있어, 정밀도 향상에 이어진다고 알려져 있다5) 6).

이 경우, 영역이 가지는 성질로써 색 분포 형상을 고려하는 경우가 많고, 색채와 음영과도 밀접한 관계가 있다. 이상의 내용을 비추어 보아 본 연구에서는 플래시 화상과 논 플래시 화상의 조를 이용하여 플래시 화상에 대해 논 플래시 화상의 색채 및 음영을 반영시켜 선명한 에지나 색채를 가지는 화상 생성을 시도하고 있다. 또한, 먼저 설명한 트렌드를5) 이번 방법은 내포하고 있으며 논 플래시 화상의 노이즈 제거에 특화한 수법이라고 할 수 있다.

색선 형성을 고려한 색 분포 형상의 변환

화상의 국소적인 영역이 가지는 성질로서 색선형성(Color-Line)7)이라고 하는 색 분포가 직선이나 평면적으로 퍼지는 특징이 있으며(그림 2) 국소적인 색 변화가 음영에 의한 명암 천이나 색이 다른 영역 경계에서의 혼합에 의해 발생하는 것에 기인하고 있다. 색선형성은 플래시 화상과 논 플래시 화상이 모두 가지고 있으며 색 분포 축의 기울기와 절편(切片)이 다르다. 이 경우 색 분포 형상을 아핀 변환으로 변형함으로써 국소 영역의 색채나 음영을 흉내 낼 수 있다.

국소적인 색 분포의 변환 모델

영역 내 화소 p=(x, y)의 플래시 화상과 논 플래시 화상의 색을 각각, 수식 …(1)로서 열 벡터로 나타내고, 3×4의 아핀 변환 행렬T을 이용해 수식 …(2)로서 모방하게 된다. 변환 행렬로서는 영역 내의 모든 화소에 대해 위 식의 관계를 양호하게 만족시키는 행렬을 계산으로 구한다.

변환 행렬 구하는 방법에 대해서는 여기에서는 아쉽지만 생략하고 저자들의 논문8) 9)을 참고하기를 부탁하고 싶지만, 단순한 선형 방정식을 반복적으로 푸는 것으로 얻을 수 있어 수치계산 라이브러리 LAPAC나 그것을 내포하는 라이브러리 및 소프트를 이용해 간단하게 계산할 수 있다. 실험에서는 MATLAB를 이용해 계산하고 있다.

대국적인 색 변환

국소적인 색 변환법에 대해서는 기술했지만, 보다 넓은 범위의 화상 전체의 색 변환을 어떻게 실시할 지가 문제이다. 실제로는 화상 하나하나의 색을 변환하는 경우, 변환하고 싶은 화소 주위에서 요구한 변환 행렬의 조를 이용해 변환을 실시한다.

어느 플래시 화상의 색 을 바꾸는 경우는, 그 주변의 화소 으로 구해진 복수의 변환 행렬 을 이용하여 플래시 화상의 색에 각 행렬을 곱해 이러한 색의 평균색을 새로운 화소의 색으로 설정한다.

부자연스러운 패턴의 제거

지금까지 메인이 되는 색의 변환법을 나타냈지만, 그림자의 경계 등에서는 플래시 화상과 논 플래시 화상의 어느 쪽이든 한 쪽만의 색이 좁은 범위에서 크게 변화하기 때문에 색 분포 형상이 일그러져 색선형성에 대응할 수 없게 된다. 이 결과, 처리 후의 화상에 부자연스러운 선상의 얼룩이 생기는 경향이 있다.

그림 3은 음영의 경계에 생긴 얼룩(그림 속의 화살표)과 그 보정에 유효하다고 생각되는 두 수법을 나타낸 것으로 상단은 Inpaint 처리에 의한 보충을 이용한 보정법(Photoshop CS5 탑재 기능을 사용), 하단은 우리가 채용한 아치 팩트 제거법 10)과 자동 보정의 결과이다.

Inpaint 처리에서는 복원하는 부분(그림 속의 수동 지정한 백색 부분)의 주위로부터 모양이 비슷한 부분을 찾아, 카피＆페이스트 함으로써 보충을 실시한다. 결과 화상은 언뜻 보면 양호하지만, 손잡이 주변에는 유사한 모양이 주위로부터 올바르게 얻을 수 없고, 경계에 일그러짐이 생긴다.

아치 팩트 제거법을 이용한 자동 보정에서는 우선, 색 변환 전과 후의 플래시 화상의 휘도 성분을 나눗셈하여 음영 화상을 얻고 에지를 추출하는 것으로 보정 부분을 지정하고 있다. 그 후 논 플래시 화상과 색 변환한 플래시 화상을 이용하여 화상 간에 휘도 기울기의 방향이 다른 경우에는 기울기를 지우는 처리를 실시한다. 완전히 얼룩을 지울 수는 없지만 충분히 저감시킬 수 있다.

그 외의 부자연스러운 패턴으로서 윤곽 주위가 조금 밝아져 헐레이션을 일으키고 있지만, 대처법으로서 앤티 앨리어싱(anti-aliasing) 복원법11)이나 색 분포를 고려한 이방성 확산12)을 이용하여 복원할 수 있다고 생각한다(이번 결과 화상에는 이용하지 않았다).

결과

그림 4는 색 변환 결과를 나타내고 있으며 플래시 화상(a)와 논 플래시 화상(b)에서는 음영의 발생 위치에 차이를 볼 수 있으며 논 플래시 화상에는 고감도 노이즈를 확인할 수 있다. 처리 후의 화상(c)은 대체로 논 플래시 화상에 가깝다고 말할 수 있지만, 모양이나 윤곽에 대해서는 기본적으로 플래시 화상의 것을 이어받기 때문에 그림 속의 논 플래시 화상의 피사체 표면으로 보여지는 경면(鏡面) 반사에 의한 날카로운 윤곽은 희미해지는 경향이 있다.

종래법과의 비교

그림 5는 종래법과의 그림1을 이용한 비교 결과를 나타내고 있다. 우선, 좌측의 방법은 단일 화상으로부터의 평활화법6) 13)으로 논 플래시 화상만을 이용해 노이즈 제거를 실시하고 있다. 문제점으로는 배경에 생긴 색 바램과 나뭇결 등의 종래 불선명한 부분은 선명한 상태로는 회복할 수 없다는 점을 들 수 있다. 다음으로, 우측의 3수법은 플래시 화상과 논 플래시 화상을 이용해 노이즈 제거를 실시하는 수법이다.

Guided filtering5)는 제안법이 내포 하는 수법으로 제안법이 방정식 내에서 이용하는 평가를 실시하지 않는다. 그 때문에, 모양이 흐릿해 지기 쉬운 문제가 있다. Crossbilateral filtering2)는 평활화를 이용해 모양이나 윤곽을 재편성하는 수법으로 대체로 자연스러운 화상을 얻을 수 있지만, 내부에서 실시되는 마스크 처리의 마스크 경계에서 보케나 노이즈가 생긴다(그림의 중앙부). 이에 비해 제안법에서는 노이즈는 눈에 띄지 않고, 지붕 부분 모양 등의 재현성도 높은 경우를 볼 수 있다.

현상 과제

다른 복수의 화상을 이용하는 수법도 가지고 있는 문제지만, 전제 조건으로서 플래시 화상과 논 플래시 화상에는 움직임이 없고, 화소의 대응이 일치할 필요가 있다. 그 때문에, 바람에 의해 흔들리는 나뭇잎 등 움직임이 있는 피사체에서는 고스트의 음영이 생긴다.

해결법으로는 현재 플래시 화상과 논 플래시 화상의 화소 간 대응을 고려한 수법을 검토하고 있으며 대응 수법으로서 스테레오 화상을 이용한 안길이 추정법과 화상 압축에서 이용되는 움직임 예측의 투입을 검토하고 있다.

맺음말

이번 원고에서는 플래시 화상의 색채와 음영을 변환해 논 플래시 화상에 유사한 선예·선명한 화상의 생성법을 소개했다. 현 단계에서는 색선형성 만을 영역이 가지는 성질로서 취급하고 있지만, 단일 화상에서의 노이즈 제거법으로 이용되는 근방 영역과의 자기 상관 6) 13)을 고려하는 것으로 보다 높은 성능 향상을 기대할 수 있다고 생각한다.

참고 문헌

1） L.Yuan, J.Sun, L.Quan, and H.-Y.Shum,“Image deblurring with blurred/noisy image pairs”,ACM Trans. on Graphics (SIGGRAPH), Vol. 26, pp.1-10（2007)

2） G. Petschnigg et al., “Digital photography with flash and noflash image pairs”，ACM Trans. on Graphics (SIGGRAPH), Vol.23, pp.664-672（2004)

3） G.Qiu and J.Guan,“Color by linear neighborhood embedding”，IEEE Inter. Conf. on Image Processing, Vol.3, pp.988-991（2005）

4） M.Drew, C.Lu, and G.Finlayson, “Removing shadows using flash/noflash image edges”，IEEE Inter. Conf. on Multimedia and Expo, pp. 257-260（2006)

5） K.He, J.Sun, and X.Tang,“Guided image filtering”，11th European Conf. on Computer Vision（2010)

6） A.Buades, B.Coll, and J.-M.Morel, “A non-local algorithm for image denoising” IEEE Conf. on Computer Vision and Pattern Recognition, Vol.2, pp.60-65（2005)

7） L. Omer and M. Werman, “Color lines: Image specific color representation”，IEEE Conf. on Computer Vision and Pattern Recognition, Vol.2, pp.946-953（2004)

8) 시로이 케이이치로우?이케하라 마사아키?오카모토 마사유키：“플래시 화상과 논 플래시 화상의 색채와 음영의 변환에 의한 선예화상 생성법”, 신학론 A, Vol. J94-A, No.4, pp.275-284(2011)

9) K.Shirai, M.Okamoto, and M.Ikehara, “Noiseless no-flash photo creation by color trans form of flash image”, IEEE Inter. Conf. on Image Processing.,(2011)

10) A.Agrawal, R.Raskar, S.K.Nayar, and Y.Li,“Removing photography artifacts using gradient projection and flash-exposure sampling”, ACM Trans. on Graphics (SIGGRAPH), Vol. 24, pp.828-835(2005)

11) L.Yang, P.Sander, J.Lawrence, and H.Hoppe,“Antialiasing recovery”, ACM Trans. on Graphics (SIGGRAPH), Vol.30(2011)

12) 시로이 케이이치로우?쇼지 히사토?이케하라 마사아키：“칼라 화상 평활화를 위한 색선형성을 고려한 이방성 확산”, 신학론 A, Vol. J93-A, No.3, pp.181-189(2010)

13) K.Dabov, A.Foi, V.Katkovnik, and K. Egiazarian, “Image denoising by sparse 3D transform-domain collaborative filtering”, IEEE Trans. on Image Processing, Vol.16, No.8, pp.2080-2095(2007)

14) T.Jinno and M.Okuda,“Motion blur free HDR image acquisition using multiple exposures”, IEEE Inter. Conf. on Image Processing, pp. 1304-1307(2008)

<글 : 시큐리티월드 편집부(sw@infothe.com)>

[월간 시큐리티월드 통권 제182호(sw@infothe.com)]

SK텔레콤 해킹 사태로 최근 잇슈가 되고 있는 ‘BPF도어’ 관련, 어떤 솔루션을 사용중인가요?
	안랩 V3 Net for Linux
	소만사 Server-i
	파이오링크 점검 도구
	잉카인터넷 전용 백신
	트렌드 마이크로 백신
	기타 국산(솔루션명은 댓글로)
	기타 외산(솔루션명은 댓글로)
	사용하지 않는다