효과적인 고해상도 이미지 복원방법 ‘학습형 초해상도’

제안방법

제안방법은 고해상도 이미지와 저해상도 이미지로부터 잘라 낸 패치의 페어를 학습 데이터로 사전에 보관하는 사전 작성단계와 사전으로부터 입력 이미지에 적합한 패치를 탐색해 고해상도 이미지를 합성하는 초해상도단계로 이뤄진다. 방법에 대한 상세한 내용은 참고문헌4)을 통해 살펴볼 수 있다.

사전 작성단계

사전 작성단계에서는 대량으로 있는 학습용 고해상도 이미지로부터 섭동(미세한 변형)에 의해 복수 종류의 저해상도 이미지를 생성하고 각각으로부터 잘라낸 고해상도 패치와 저해상도 패치의 페어를 사전에 보관한다(그림2).

고해상도 이미지로부터 저해상도 이미지를 생성하기 위해서는 고해상도 이미지를 일정량만 흐리게 한 후에 일정한 간격으로 화소를 꺼낸다. 예를 들면 3배의 초해상도를 할 경우 표준편차 1.5화소의 가우스 보카시(흐릿하게)를 한 후 3화소 간격으로 화소를 꺼내면 1/3배의 저해상도 이미지를 생성한다. 흐릿하게 하는 양은 카메라의 설정 등에 따라 다르기 때문에 1.5화소, 1.875화소, 2.25화소 등으로 섭동시켜 여러 가지 입력 이미지에 대응할 수 있도록 한다. 또, 3화소 간격으로 화소를 꺼낼 때에도 어느 위치를 기준으로 하는가에 따라 미세한 위치 차이가 발생하기 때문에 예를 들면 종횡 2종류로 총 4종류의 미세하게 다른 위치에서 꺼내는 등의 섭동을 추가로 한다. 이 섭동을 조합시키기 때문에 흐림량 3종류, 차이량 4종류의 예에서는 1장의 고해상도 이미지로부터 총 12장의 저해상도 이미지가 생성된다.

패치 페어는 저해상도 이미지로부터 잘라 낸 저해상도 패치(예를 들면 5×5화소)와 거기에 대응하는 위치에 있는 고해상도 패치(3배 확대한 경우는 15×15화소)를 페어로 한 것이며 이것을 그대로 사전에 보관한다. 모든 패치 페어를 보관하고자 하면 그 수는 몇 백만조 이상으로 방대해지기 때문에 유사한 패치를 삭제해 사전 사이즈의 비대화를 억제하고 있다.

초해상도 단계

초해상도 단계에서는 입력 이미지로부터 저해상도 패치를 잘라내고 거기에 가장 유사한 패치를 사전으로부터 탐색해 탐색된 고해상도 패치를 사용해서 고해상도 이미지를 합성한다 (그림3).

저해상도 패치의 탐색에서는 밝기에 의한 영향을 회피하기 위해서 패치를 밝기 값의 벡터로 간주해 그 기준을 나누는 것으로 정규화한다. 또, 미세한 변형에 강건한 비교로 하기 위해서 패치 중심에서 멀어질수록 무게가 작아지도록 무게감을 준 유클리드 거리에 의해 패치간의 거리를 계산해 최소거리인 것을 유사 패치로 한다. 탐색한 패치 페어의 고해상도 패치를 서로 맞춰 붙여 고해상도 이미지를 합성한다. 이 경우도 저해상도 패치와 마찬가지로 패치 중심에서 멀어질수록 무게가 작아지도록 무게감을 줌과 동시에 입력 이미지의 저해상도 패치 평균값에 맞춘 밝기 보정을 한다. 이러한 저해상도 패치의 탐색과 고해상도 패치의 합성을 화소 단위로 독립적으로 실시하고 모든 결과를 무게감을 주어 합성하면 초해상도 결과인 고해상도 이미지를 얻을 수 있다.

한편, 사전에 보관해 둔 패치의 수가 매우 많기 때문에 패치 탐색은 시간이 걸린다. 그래서 미리 기준을 정규화해서 무게감을 준 저해상도 패치를 K-Means Tree라고 불리는 나무구조에 보관해 둠으로써 고속의 근사 최근방 탐색5)을 실시하고 있다.

실험결과

방법의 유효성을 나타내기 위해서 실제 카메라로 촬영한 저해상도의 문서이미지, 번호판 이미지, 얼굴 이미지에 이 학습형 초해상도 방법을 적용한 결과를 제시한다.

문서 이미지

학습용 고해상도 이미지로서 포맷이 통일된 영문 예고집 50페이지 분을 사용해 PDF형식의 전자 데이터를 150dpi 이미지로 변환한 것을 사용했다. 실험에 사용한 저해상도 이미지는 동일한 예고집의 학습에 사용하지 않은 페이지를 인쇄하고 Web 카메라로 50dpi 상당이 되도록 정면에서 촬영했다. 제안방법에 의해 3배 초해상도를 실시간 결과를 그림4에 나타냈다. 카메라에 의한 노이즈나 흐린 상태의 양을 정확하게는 모르는 이미지인데도 불구하고 정밀하고 정확한 복원이 실현됐다. 이렇게 폰트나 문자 종류의 한정이 강한 상황에서는 제안방법이 대단히 유효하다.

번호판 이미지

다음으로 자동차 번호판에 적용한 결과를 볼 수 있다. 학습용의 고해상도 이미지로서 2,000장의 번호판 이미지(크기 통일)를 사용했으며 실험에 사용한 저해상도 이미지는 디지털카메라로 원거리에서 촬영한 것이다. 제안방법에 의해 8배 초해상도를 실시한 결과를 그림 5에 나타냈다. 원래 이미지는 13×7화소밖에 안 되지만 자동차 번호판이라는 지식을 사전으로 활용함으로써 4자리 숫자부분에 대해서는 정확하게 복원됐다.

얼굴 이미지

마지막으로 얼굴 이미지에 적용한 결과를 살펴본다. 학습용 고해상도 이미지로서 450명분의 얼굴 이미지(크기 통일)를 사용했으며 실험에 사용한 저해상도 이미지는 디지털카메라로 원거리에서 촬영한 것이다. 제안방법에 의해 4배 초해상도를 실시한 결과를 그림 6에 나타냈다. 사람의 얼굴을 패치로 이용함으로써 눈이나 입 등이 미세한 부분이 복원되어 있는 것을 알 수 있다.

이번 원고에서는 피사체를 한정함으로써 고배율 고해상도 이미지가 복원 가능한 사례 베이스의 학습형 초해상도 방식을 살펴봤다. 제안방법은 섭동 학습과 무게감을 준 검색·합성에 특징이 있으며 문자나 얼굴과 같은 피사체에 대해서는 효율적으로 고배율·고정밀도의 초해상도 처리를 실시할 수 있다. 문서 이미지, 번호판 이미지, 얼굴 이미지의 각각에 적용한 결과로부터 제안방법의 유효성이 제시됐다. 앞으로의 과제로서 미학습 데이터에의 대응과 처리에 대한 효율 향상 등을 들 수 있다.

참고문헌

1) 다나카, 오쿠토미: “화소수의 벽을 타파하는 복수 이미지로부터의 초해상도 기술”, 영상정보미디어 학회지, Vol. 62, No. 3, pp.337-342(2008)

2) 다구치, 오노, 미타, 이다: “이미지 초해상도를 위한 폐루프 학습에 의한 대표 사례 학습 방법”, 전자정보통신학회 논문지 D, Vol. J92-D, No. 6, pp.831-842(2009)

3) S. Baker and T. Kanade. “Limits on super-resolution and how to break them, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 24, No. 9, pp. 1167-1183(2002)

4) 시바타, 이케타니, 센다: “서브 픽셀 시프트 섭동에 의한 학습형 초해상도”, 이미지의 인식·이해 심포지엄(MIRU2012)

5) M. Muja and D. G. Lowe, “Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration, Int. Conf. Computer Vision Theory and Applications, pp. 331-340(2009)

<글 : 시큐리티월드 편집부>

[월간 시큐리티월드 통권 제195호(sw@infothe.com)]

<저작권자 : 시큐리티월드(www.securityworldmag.co.kr) 무단전재-재배포금지>