무손실 영상 압축을 위한 컨텍스트 기반 적응적 예측 부호화 방법

영상의 방향성에 따른 적응적 예측 기법과 컨텍스트 기반 엔트로피 부호화 방법을 주요 구성요소로 한 무손실 영상 압축 방법에서 적응적 예측 기법에서는 부호화 픽셀을 중심으로 각 방향에 대한 상관도를 분석하고, 이를 이용해 적절한 예측 픽셀을 선택할 수 있다. 또한, 예측 에러를 더욱 줄이기 위해 주변 픽셀의 복잡도 및 방향성을 이용한 컨텍스트 모델 기반 예측 에러 보정과정을 수행할 수 있다. 이를 정보이론의 관점에서 살펴보면 조건부 엔트로피에 의해 부호화 효율이 더욱 향상되며, 이를 통해 엔트로피 부호화 방식으로 컨텍스트 기반 Golomb-Rice 부호화를 적용할 수 있다. 이러한 연구결과에 의하면 무손실 영상 압축 방식은 다양한 영상에 대해서 기존의 저 복잡도 및 고효율의 JPEG-LS에 비해 평균 1.3%의 압축효율 향상을 나타냈고, 특히 방향성이 뚜렷한 영상에 대해서 성능이 좋음을 알 수 있다.

김 종 호┃순천대학교 멀티미디어학과 교수(jhkim@sunchon.ac.kr)

유 훈┃상명대학교 디지털미디어학부 교수(hunie@smu.ac.kr)

정지영상의 압축 기법은 정보의 손실 여부에 따라 무손실(Lossless) 압축과 손실(Lossy) 압축으로 구분된다. 손실 압축 방법이 일반적인 영상의 효율적인 전송 및 저장을 위해 사용되는 반면, 법률자료나 의료영상과 같이 신뢰성이 보장돼야 하는 분야에서는 무손실 압축 방법이 사용된다[1].

이러한 무손실 압축 방식은 원영상과 복원영상이 완전히 일치하는 특성으로 인해, 현재 가장 많이 쓰이는 의료영상 분야뿐만 아니라 Image Archiving, High-Precision Image Analysis, Remote Sensing, Prepress Imaging, Preservation Of Art Work, Historical Documents 등 영상의 품질(Quality) 및 정밀성과 신뢰도가 요구되는 분야에서 활용성이 증대되고 있다[2, 3]. 또한, 최근 디지털 카메라의 활용성이 증대됨에 따라 컬러변환 및 화질 등에서 제한적인 기존의 JPEG 위주의 압축방법 대신 CFA(Color Filter Array) 데이터의 직접적 압축 방법이 제안됐는데, 이를 위한 고성능의 무손실 압축 방법에 대한 연구가 활발히 진행되고 있다[4-6].

더불어 정지영상의 무손실 압축을 위한 방법으로는 컨텍스트 모델링 및 예측에 의한 CALIC(Context-Based, Adaptive, Lossless Image Coding)과 JPEG-LS 등이 있고, 웨이블릿 변환에 기반한 SPIHT(Set Partitioning In Hierarchical Trees)를 이용한 방법 및 JPEG2000 Lossless Mode 등을 들 수 있으며[7-10], 정지영상 무손실 압축을 위한 국제표준 중에서 일반적으로 JPEG-LS가 JPEG 2000 Lossless Mode보다 우수한 성능을 나타낸다.

또한 예측기반의 부호화 방식인 CALIC은 컨텍스트 기반 산술 부호화기(Arithmetic Coding)를 이용해 압축성능이 JPEG-LS보다 우수하나 복잡도가 높다는 단점이 있다[11].

일반적으로 정지영상의 무손실 압축은 크게 두 단계의 과정을 거친다. 첫째는 영상을 복원이 가능한 범위 내에서 엔트로피를 최소화하는 방향으로 재 표현하는 것이고, 둘째는 이렇게 재표현된 영상의 엔트로피에 가장 근접한 비트율을 가지도록 부호화하는 것이다.

이번 원고는 방향성을 고려한 적응적 예측 방법을 이용해 엔트로피를 낮추고, 컨텍스트 기반의 Golomb-Rice 부호화기를 이용해 저 복잡도를 가지면서 압축률을 향상시키기 위한 방법을 알아봤다.

정지영상의 무손실 압축 방법

정지영상의 무손실 압축 방법으로는 JPEG-LS, CALIC, JPEG2000 Lossless Mode와 같은 방법이 있으며, 각각의 특징은 다음과 같다.

JPEG-LS

무손실 방식 JPEG(Lossless JPEG)[12]의 압축 성능의 한계로 인해 새로운 무손실 압축 표준의 필요성이 대두됐으며, 그 결과 JPEG-LS라는 표준이 탄생했다[8]. JPEG-LS는 LOCO-I(Low Complexity Lossless Compression Of Images) 알고리즘을 기반으로 하고 있는데 주변 픽셀의 복잡도에 따라 예측 픽셀을 선택하는 MED(Median Edge Detector) 예측기 및 컨텍스트 모델링에 의한 적응적 Golomb-Rice 부호화기로 구성돼 있다. 이는 약자에서 보듯이 낮은 복잡도에서 좋은 성능을 나타내는 것이 특징이다.

CALIC

CALIC은 무손실 압축 표준을 위한 여러 제안기술 중 하나였으며, JPEG-LS와 유사한 부호화 구조로 이루어져 있다[7]. 즉, 주변 화소의 방향성 및 에지 강도에 따라 예측 픽셀을 선택하는 GAP(Gradient-Adjusted Prediction) 예측기 및 컨텍스트 모델링에 의한 적응적 산술 부호화기로 구성돼 있다. CALIC은 Lossless JPEG, JPEG-LS 및 JPEG2000 Lossless Mode에 비해 높은 압축효율을 보이지만 복잡도가 높은 단점이 있다.

JPEG2000 Lossless Mode

JPEG2000은 기존 JPEG의 단점을 개선하고 다양한 기능을 실현한 차세대 정지영상 압축표준으로, 웨이블릿 변환(Wavelet Transform) 및 비트평면 부호화(Bitplane Coding)를 사용한다[10]. 특히 JPEG2000 Lossless Mode에서는 가역(Reversible) 정수형 웨이블릿 변환을 이용하게 된다. 그러나 JPEG2000 Lossless Mode는 일반적으로 무손실 압축 전용인 JPEG- LS에 비해 복잡도는 높으나 압축 성능은 이에 미치지 못한다.

제안하는 무손실 영상 압축 방법

제안하는 무손실 영상 압축 방법의 부호화 구조를 그림 1에 나타냈다. 방향성 기반 적응적 예측 이후, 부호화 픽셀 주변의 복잡도에 의해 모델링된 컨텍스트 값에 따라 예측 에러를 보정한다. 보정된 예측 에러는 해당 컨텍스트에 최적인 부호화 파라미터를 이용해 Golomb-Rice 부호화기에 의해 부호화된다(그림 1).

부호화 과정의 역과정인 복호화 과정에서는 추가적인 정보를 필요로 하지 않는데, 이는 예측을 위한 주변 픽셀의 구성이 인과적(Causal)이고, 예측 에러의 보정치 및 Golomb-Rice 복호화를 위한 파라미터를 계산하는데 필요한 컨텍스트를 부호화 과정과 동일하게 구성할 수 있기 때문이다.

방향성 기반 적응적 예측 방법

예측 기반 부호화 방식에서 예측기는 부호화 성능을 결정하는데 핵심적인 역할을 한다. 예측 오차를 최소화하기 위해 영상의 방향성을 효과적으로 파악하고, 이에 따라 적절한 예측픽셀을 선택해야 한다. 이번 원고에서는 주변픽셀의 방향성을 효과적으로 추정하기 위해 CMBP(Context Matching Based Prediction)[6]를 기본으로 하고 이를 일반영상에 맞도록 주변픽셀의 정의 및 예측픽셀을 결정하기 위한 가중치 등을 변형해 적용했다. 그림 2와 같이 부호화 픽셀 p(i, j)의 위치가(i, j)일 때, support region, Sp(i, j)를 Sp(i, j) = {(i, j-1),(i-1, j-1),(i-1, j),(i-1, j+1)}와 같이 정의하고, p(i, j)의 support region과 p(m, n)의 support region 사이의 유사도는 식(1)에 의해 측정한다.

부호화 픽셀 p(i, j) 주변 4개의 픽셀에 대해서 (1≤u<v≤4)가 성립하도록 정렬(즉, D(·)값에 대해서 오름차순)해 식(2)에 의해 예측픽셀 를 구한다.

이때 k = 1, 2, 3, 4이고 p(mk, nk)는 D(·)값에 의해 정렬된 픽셀을 의미한다. wk는 주변 4개의 픽셀에 대한 정규화된 가중치를 나타내므로 이 성립한다(그림 2).

또한, 그림 2와 같이, 부호화 픽셀 p(i, j)에 대한 방향성분을 Dir(i, j)∈{W, NW, N, NE}로 정의하고, 이는 p(i, j)에서 정렬된 주변픽셀 중 첫 번째 픽셀 p(m1, n1)로의 방향을 의미한다. 즉, 각 주변픽셀에 대해서 네 방향으로 식(1)을 계산하고, 이 중 D(·)값이 가장 작은 방향이다. 부호화 픽셀 p(i, j)의 방향성분을 구한 후, 먼저 p(i, j)의 방향성분과 Sp(i, j)에 해당하는 모든 픽셀의 방향성분이 일치하면 p(i, j)는 Homogeneous 영역에 있다고 판단하고, 각 방향에 따라 예측픽셀 을 식(3)과 같이 구한다.

만일 p(i, j)의 방향성분과 Sp(i, j)에 해당하는 픽셀의 방향성분이 서로 다르면 Heterogeneous 영역에 있다고 판단하고, 식(2)에 의해 예측픽셀 을 구한다. 이때, 정규화된 가중치 wk는 실험에 의해 최종 비트율이 가장 낮도록 하는 값을 선택할 수 있는데, 이번 원고에서는 {w1, w2, w3, w4} = {14/32, 9/32, 6/32, 3/32}을 사용했다. 이러한 가중치를 이용해 식(2)를 다음과 같이 다시 표현할 수 있다.

이후, 부호화 픽셀 p(i, j)와 식(3) 및 식(4)에 의해 구한 예측픽셀 의 차이, 즉, r(i, j) = p(i, j) - 는 후술하는 예측 에러 보정(Error Compensation) 및 Golomb-Rice 부호화 과정을 거쳐 압축 비트스트림으로 생성된다.

예측 에러 보정(Error Compensation)

정보이론의 관점에서 조건부 확률 모델을 사용해 부호화 성능을 향상시킬 수 있다. 즉, 부호화 픽셀 주변 픽셀의 상태를 컨텍스트(Context)로 정의하고 적절하게 모델링하면, 해당 컨텍스트 조건하에서 부호화 픽셀의 예측치를 더욱 낮은 엔트로피를 갖는 값으로 보정할 수 있다. 이러한 기법을 예측 에러 보정(Error Compensation) 또는 바이어스 제거(Bias Cancellation)라고 하고, CALIC 및 JPEG-LS를 비롯한 여러 무손실 부호화 방법에서 도입하고 있다[7, 8].

예측 에러 보정과정을 수행하기 위해 먼저 부호화 픽셀에 대한 컨텍스트를 정의해야 하는데, 이번 원고에서는 JPEG-LS에서 사용한 방법을 이용했다. 즉, 예측 에러는 주변 픽셀의 방향성 및 복잡도에 영향을 받으므로, 이를 반영하기 위해 세 가지의 기울기 정보 g1(i, j) = p(i-1, j+1) - p(i-1, j), g2(i, j) = p(i-1, j) - p(i-1, j-1), g3(i, j) = p(i-1, j-1) - p(i, j-1)을 정의하고, 각 기울기 정보의 값을 이용해 컨텍스트를 모델링한다. 컨텍스트를 효과적으로 사용하게 위해서는 그 가짓수를 줄이는 양자화(또는 클러스터링) 과정을 거치는데, 이번 원고에서는 9 그룹으로 양자화했다. 각 그룹은 {0}, ±{1, 2}, ±{3, 4, 5, 6}, ±{7, 8, ..., 20}, ±{21, ...}이며, 이는 기울기 정보의 발생 확률이 같게 되도록 구간을 설정한 것이다.

이러한 컨텍스트 모델에 의해 예측 에러 보정값을 구하기 위해 먼저 예측 에러를 기울기 정보에 따른 해당 컨텍스트 구간에 할당하고 예측 에러 보정값은 식(5)와 같이 해당 그룹내의 예측 에러를 평균해 추정할 수 있다.

이때, ec(i, j)는 예측 에러 보정값, D는 해당 컨텍스트에 의한 예측 에러의 누적값, N은 해당 구간에 속한 컨텍스트 요소의 개수를 의미한다. 이를 이용해 예측픽셀 은 =+ ec(i, j)로 보정하고, 보정된 예측 에러는 rc(i, j) = p(i, j) -로 구하게 된다. 그림 3과 같이 보정된 예측 에러는 디테일이 제거돼 더 낮은 1차 엔트로피를 갖게 된다.

Golomb-Rice 부호화

이번 원고에서 보정된 예측 에러의 엔트로피 부호화 방식으로 Golomb-Rice 부호화 방식을 적용했다. Golomb-Rice 부호화기는 매우 간단한 방식이면서 지수분포(Exponential Distribution)를 갖는 심볼에 대해서 특히 압축효율이 좋다[13]. 따라서 Golomb-Rice 부호화를 적용하기 위해서 라플라시안(Laplacian) 형태를 갖는 예측 에러를 식(6)에 의해 지수분포로 변환한다.

Golomb-Rice 부호화에서 Rc(i, j)는 몫 와 나머지 로 나누어 부호어(Codeword)를 할당하는데, 이때 음이 아닌 정수 k에 의해 결정되는 부호어의 길이는 식(7)과 같다.

식(7)에서 보는 바와 같이 k 값은 부호화 성능과 밀접한 관련이 있다. 이번 원고에서는 보정된 예측 에러 rc(i, j)의 분포가 컨텍스트에 따라 달라지기 때문에 k 값 역시 컨텍스트에 따라 구해야 최적의 부호어 길이를 얻을 수 있다. 앞 절에서 기술한 컨텍스트 모델에 의해 실제 k 값은 식(8)과 같이 구한다.

이때 N은 예측 에러 보정과정에서 적용된 컨텍스트 모델에 대해 해당 구간에 속한 컨텍스트 요소의 개수를 의미하고, A는 해당 컨텍스트에 의한 rc(i, j)의 크기, 즉, 현재 부호화 픽셀까지의 |rc(i, j)|의 누적값을 의미한다.

연구방법 및 결과

이번 원고에서 제안한 무손실 영상 압축 방법의 성능을 평가하기 위해 그림 4와 같은 512×512 크기 및 Gray Scale의 테스트 영상을 사용했다. 여기서 사용된 예측 방법은 주변 픽셀의 복잡도 및 방향성 정보를 효과적으로 추정해 적응적으로 예측 픽셀을 선택한다. 이 방법은 예측 에러가 작아 에러 보정의 효과가 비교적 작지만 컨텍스트 기반 엔트로피 부호화까지 감안하면, 이는 효율적인 부호화 방법을 설계하는 데 있어 매우 유용한 수단이다. 또한, 표 1은 제안한 예측 방법에 예측 에러 보정 방법을 적용했을 경우(with EC), 즉, rc(i, j) = p(i, j) - 와 적용하지 않았을 경우(without EC), 즉, r(i, j) = p(i, j) -에 대한 1차 엔트로피를 나타낸다.

표 1에서 보는 바와 같이, 예측 에러 보정에 의해 평균 0.10bpp의 엔트로피가 감소함을 알 수 있다. 컨텍스트를 주변 픽셀의 복잡도 및 방향성 기울기에 의해 모델링했기 때문에 예측 에러 중 방향성이 뚜렷한 에지 주위에서의 에러가 줄어들었고, 이로 인해 부호화 성능을 더욱 향상시킬 수 있음을 의미한다.

또한, 제안한 부호화 방법의 성능을 기존의 무손실 압축 방식과 비교한 결과를 표 2에 나타냈다. 즉, 매우 단순한 예측 및 Huffman 부호화에 기초한 무손실 방식 JPEG(Lossless JPEG), JPEG-LS, JPEG2000 Lossless Mode의 압축 성능과 제안한 압축 방식의 성능을 최종 비트율(bpp)을 기준으로 비교했다. 이때, JPEG-LS의 경우 v.2.1 구현[8]을 사용했고, JPEG2000은 JasPer v.1.9.1 구현[14]을 사용해 실험을 진행했다.

표 2의 결과에서 보는 바와 같이, 비트율 측면에서 제안한 방법이 대부분의 영상에서 기존의 방식에 비해 우수함을 나타내는데, Lossless JPEG에 비해서 평균 0.91bpp(16.7%), JPEG-LS에 비해서 평균 0.06bpp(1.3%), JPEG2000 Lossless Mode에 비해서 평균 약 0.15bpp(3.2%)의 향상이 있는 것을 알 수 있다. 기존의 압축방식 중 Lossless JPEG의 성능이 가장 떨어지고, 무손실 압축 전용 방식인 JPEG-LS의 성능이 뛰어났다. 웨이블릿 변환 기반의 JPEG2000 Lossless Mode의 경우에는 방향성이 뚜렷한 Barbara 영상에 대해서 성능이 좋았으나, 대부분의 영상에서는 JPEG-LS의 성능에 미치지 못했다. 이는 무손실 영상압축의 경우에는 일반적인 변환 부호화 방식에 비해 제안한 압축 방식을 포함해 각 픽셀의 변화 양상을 효과적으로 반영할 수 있는 예측 기반 부호화 방식이 효율적임을 알 수 있다.

방향성을 반영한 적응적 예측과 컨텍스트 기반 예측 에러 보정 및 엔트로피 부호화를 기본 구성요소로 하는 무손실 영상 압축 방법을 제안했다. 예측기는 부호화 픽셀의 주변 픽셀의 방향성을 분석해 효과적으로 예측 픽셀을 선택했고, 주변 픽셀의 복잡도 및 방향성에 따라 모델링한 컨텍스트에 기반한 예측 에러 보정과정을 수행해 예측 에러의 엔트로피를 더욱 낮추었다. 또한 컨텍스트 기반의 Golomb-Rice 부호화를 통해 부호화 효율을 더욱 향상시켰다. 제안한 압축 방식은 기존의 JPEG-LS 및 JPEG2000 Lossless Mode 등과 같은 무손실 영상압축 표준과 비교해 그 성능이 우수함을 실험을 통해 보였다. 복잡도가 높은 산술부호화기가 사용된 JPEG2000 Lossless Mode와 비교해 복잡도가 낮은 컨텍스트 기반 Golomb-Rice 부호화기를 적용한 제안한 방식의 압축성능이 우수함을 알 수 있었다. 향후 예측기의 방향성을 좀 더 다양하게 분석하고, 이를 반영해 컨텍스트 모델링 방법을 개선한다면 더욱 성능을 향상시킬 수 있을 것으로 판단된다.

참고문헌

[1] K. Sayood, Introduction to Data Compression, 3rd ed. New York: Morgan-Kaufmann, 2005.

[2] “Digital Imaging and Communications in Medicine(DICOM) part 1: Introduction and Overview,” National Electrical Manufactures Association, 2004, [Online]. Available: http:// medical.nema.org.

[3] B. Carpentieri, M. J. Weinberger, G. Seroussi, “Lossless compression of continuous-tone image,” Proc. of the IEEE, vol. 88, no. 11, pp. 1797-1809, Nov. 2000.

[4] R. Lukac and K. Plataniotis, “Single-sensor camera image compression,” IEEE Trans. Consum. Electron., vol. 52, no. 2, pp. 299-307, Feb. 2006.

[5] N. Zhang and X. Wu, “Lossless compression of color mosaic images,” IEEE Trans. Image Process., vol. 15, no. 6, pp. 1379-1388, Jun. 2006.

[6] K.-H. Chung and Y.-H. Chan, “A Lossless compression scheme for Bayer color filter array images,” IEEE Trans. Image Process., vol. 17, no. 2, pp. 134-144, Feb. 2008.

[7] X. Wu and N. Memon, “Context-based, adaptive, Lossless image coding,” IEEE Trans. Commun., vol. 45, no. 4, pp. 437-444, Apr. 1997.

[8] M. Weinberger, G. Seroussi, and G. Sapiro, “The LOCO-I Lossless image compression algorithm: Principles and standardization into JPEG-LS,” IEEE Trans. Image Process., vol. 9, no. 8, pp. 1309-1324, Aug. 2000, [Online]. Available: http://www.hpl.hp.com/loco

[9] [Online]. Available: http://www.cipr.rpi.edu/re- search/SPIHT

[10] “Information Technology - JPEG2000 image coding system,” ISO/IEC JTC1/SC29/WG1, FCD15444-1, Mar. 2000.

[11] I. Witten, R. Neal, and J. Cleary. “Arithmetic coding for data compression,” Comm. ACM, vol. 30, no. 6, pp. 520-540, Jun. 1987.

[12] W. Pennebaker and J. Mitchell, JPEG Still Image Data Compression Standard, New York: Van Nostrand, 1993.

[13] A. Said, “On the determination of optimal parameterized prefix codes for adaptive entropy coding,” Tech. Rep. HPL-2006-74, HP Lab., Palo Alto, CA, 2006.

[14] JPEG2000 software and test data, [Online]. Available: http://www.jpeg.org/jpeg2000/testlin ks.html

[월간 시큐리티월드 통권 제199호(sw@infothe.com)]

3월 15일부터 시행되고 있는 개정 개인정보보호법과 관련해 가장 까다롭고 이행하기 어려운 조항은 무엇인가요?
	인공지능(AI) 등 자동화된 결정에 대한 정보주체 권리 구체화
	접근권한 관리 등 개인정보 안전성 확보조치 강화 및 고유식별정보 관리실태 정기조사
	영향평가 요약본 공개제도 도입 등 개인정보 영향평가제도
	영상정보처리기기 및 안전조치 기준
	개인정보 보호책임자의 전문성 강화 위한 전문CPO 지정
	국외 수집·이전 개인정보 처리방침 공개 등 개인정보 처리방침 평가제도
	손해배상책임 의무대상자 변경 및 확대
	공공기관 개인정보 보호수준 평가 확대
	기타(댓글로)