.jpg)
입체카메라
3차원 화상계측은 디지털 카메라를 이용하여 계측대상 물체 표면의 입체 형상이나 치수를 취득하는 방법으로, 이전부터 연구되고 있었지만 실용화에 있어 여러 과제가 남아 있다. 여기서는 최적강도변조 패턴광 투영 계측기술과 화상계측 제어기술을 바탕으로 실용화한 3차원 화상계측장치 즉, 입체카메라를 소개한다. 입체카메라는 일반적인 디지털 카메라의 감각으로 계측대상 물체의 3차원 데이터를 취득할 수 있기 때문에 형상, 사이즈, 색 분포, 표면반사 특성 등 정보를 알 수 없는 물체에 대해서도 자동적으로 계측할 수 있어 현재 3D이미지 연구소에 의해 제품화되고 있다.
머리말
최근 디지털 카메라가 많이 보급되어 디지털 카메라를 이용해 계측대상 물체의 사진촬영을 실시하고, 취득한 디지털 화상의 컴퓨터 처리에 의해 물체의 표면 3차원 형상이나 치수를 취득하는 3차원 화상 계측기술도 왕성하게 연구되고 있다. 현재 자주 이용되고 있는 3차원 화상 계측방법은 수동법과 능동법의 두 가지 방법으로 크게 나눌 수 있다.
수동법은 계측을 위해서 계측대상물체에 에너지를 내지 않는 방법으로, 그 대표적인 방법은 스테레오시(視)이다. 인간의 두 눈과 같은 카메라를 2대 이용해 계측대상물체의 사진을 2장 촬영하고, 삼각측량의 원리에 근거해 사진에 있어 계측물체 상의 계측점의 3차원 정보를 산출하는 방법이다. 그러나 스테레오법 계측에는 3가지 카메라에 촬영된 2장의 사진에 있어서의 계측점의 위치를 대응시키지 않으면 안 되기 때문에(흔히 대응 문제), 그림 1에 표시한 것처럼, 특징이 없는 작은 표면의 계측은 매우 어렵다.
능동법은 계측을 위해서 계측물체에 어떠한 에너지를 내는 방법으로, 패턴광 투영 3차원 계측은 그 대표적인 방법이다. 패턴광 투영 계측에 사용되는 패턴광은 스포트광이나 공간구조화 패턴광 등과 같은 이치화식(二値化式) 패턴광과, 농도경사 패턴광, 강도변조 패턴광, 컬러변조 패턴광 등의 비이치화식의 2종류로 분류할 수 있다. 그림 2에 나타낸 것처럼, 투영패턴은 계측대상물체의 표면에 계측하기 쉬운 특징을 가지고 있기 때문에 대응 문제는 자연적으로 해결된다. 예를 들어 손전등을 이용해 물체에 빛을 비추면 그 빛의 위치는 눈으로 쉽게 발견된다.
이 때문에 패턴광 투영 계측방법은 실용화하기 쉬운 기술로써 주목 받고 있다. 이번 논문은 패턴광 투영 3차원 계측기술의 실용화에 즈음하여 해결하지 않으면 안되는 여러 문제와 실용화 문제를 해결하기 위해서 제안된 최적패턴광 투영 계측기술과 화상계측 제어기술을 기술한다.
패턴광 투영 계측기술의 실용화 문제
여러 가지 패턴광 투영 계측방법의 공통점은, 투영패턴 줄무늬의 방향정보와 길이 거리치 간의 대응관계에서 계측점의 길이 거리치를 구하는 것이다. 여기에서 투영 줄무늬의 방향정보 즉 줄무늬의 어드레스를 올바르게 검출하는 것이 중요하다.
이치화식 투영법은 줄무늬 어드레스의 검출 정밀도가 높기 때문에 최근 실용화되고 있다. 그러나 여러 횟수의 투영을 필요로 하여 계측에 시간이 걸리고, 비정지 물체의 계측을 위한 응용이 어렵다.
비이치화식 투영법은, 적은 횟수의 투영으로 3차원 정보를 산출할 수 있어 디지털 카메라, 액정이나 DLP 프로젝터 및 광원과 같은 투영장치의 성능 향상에 따라 비이치화 수법의 실용화가 예상되고 있다.
비이치화식 투영법에서는 관측패턴화상의 줄무늬 강도치 혹은 색 분포로부터 줄무늬의 어드레스를 구하는 것이 계측의 기본이기 때문에 관측패턴 화상의 줄무늬 강도 혹은 색 분포와 줄무늬의 어드레스와의 사이에 일대일의 대응관계를 가지게 하는 것이 중요하다.
그러나 실용화에 즈음해서는, 계측대상물체의 색, 텍스처, 표면반사율 등 요인에 의해 반사패턴 줄무늬의 색강도 분포가 변화하고 있어 투영패턴 줄무늬 색강도와의 일대일 관계가 깨져버리는 경우가 많다. 그러므로 단순하게 반사패턴의 줄무늬 색강도에서 줄무늬의 어드레스를 추정하는 것은 어렵다.
한편, 포화가 없는데다가 가능한 한 넓은 범위에 강도분포를 가진 다이나믹 레인지의 넓은 관측패턴 화상을 촬영하는 것이 이상적이다. 그러나 실용화 단계에서 계측환경이나 계측된 물체의 색 분포, 표면반사율 등 계측조건이 변화한 경우에 계측에 필요한 강도분포를 가진 관측패턴 화상을 얻을 수 없게 되는 문제가 있다. 이로 인해 줄무늬 차수의 검출 정밀도가 떨어져 계측이 불가능해지는 경우가 있다.
또, 계측정밀도를 확보하기 위해서 투영패턴의 줄무늬 수가 많으면 많을수록 좋다. 그러나 실용화 시에 계측물체의 크기를 사전에 모르는 경우가 있어 투영패턴의 줄무늬 수를 결정하기 어렵다. 사이즈가 큰 계측물체와 작은 계측물체에 같은 줄무늬 수의 패턴 후(候)를 투영하는 것은 물론 바람직하지 않고, 계측물체의 크기에 따라 수동적으로 투영패턴의 줄무늬 수를 변경하는 것도 현실적이지 않다. 실용화의 입장에서 생각하면, 패턴투영에 근거한 3차원 화상계측방법에 대해 아래와 같은 사항이 요구되고 있다.
1)비정지 물체의 계측을 위해서 패턴광은 한번밖에 투영하지 않는다.
2)계측의 로버스트성을 위해서 계측대상물체의 색, 텍스처, 표면반사율 등 요인에 의하지 않고, 투영패턴의 줄무늬 어드레스를 확실하게 검출한다.
3)계측정밀도(강도분해능) 향상을 위해서, 관측패턴 화상의 줄무늬 강도는 카메라의 유효적인 강도계측 레인지 중에 있어서 가능한 한 넓은 범위에 분포한다.
4)계측정밀도(위치분해능) 향상을 위해서 계측물체의 위치, 크기 등에 맞춰 패턴의 투영장소, 크기 및 공간주파수 분포를 조절하고, 보다 많은 줄무늬를 물체에 투영한다.
위의 목적을 실현하기 위해서, 이번 연구에서는 최적강도변조 패턴광 투영기술과 화상계측 제어기술을 제안했다. 여기에서는 우선 제안기술의 이론원리와 실현방법을 소개하고, 그 후 몇 가지 실용화 실례를 살펴본다.
최적강도변조 패턴광 투영기술
그림 3은 패턴광 투영 3차원 화상계측 시스템의 이미지 그림을 나타낸다. M(x,y,z)은 계측점, P는 투광기의 렌즈중심, C는 카메라의 렌즈중심, f는 초점거리이다. 계측점의 X좌표와 Y좌표는 삼각관계로 간단하게 구해지고, 길이치 Z는 (1)식과 같이 투영 줄무늬의 방향정보로부터 계산할 수 있다.
여기에서 Z는 계측점의 길이 거리이고, d는 투영과 관측좌표계 중심간의 거리, 기지수이다. α는 줄무늬의 투영각도, β는 관측각도이다. β는 관측패턴 화상으로부터 산출할 수 있기 때문에 α를 알면 Z를 구할 수 있다.
한편, 그림 4와 같은 강도가 단조롭게 변화하는 강도변조 패턴광을 이용하는 경우, 투영패턴 줄무늬와 p 관찰패턴 줄무늬의 강도 사이의 일대일 관계에 따라, 원리적으로는 1회의 투영으로 줄무늬 어드레스를 산출하는 것이 가능하다. 그러나 투영광이나 카메라감광 특성의 비선형, 계측물체의 표면색이나 반사율의 불균일성 등의 영향에 따라, 관측 줄무늬의 강도가 변화하여 투영 줄무늬의 강도와 줄무늬 어드레스의 대응관계를 특별하게 연관지을 수 없다.
줄무늬 어드레스의 검출정밀도를 좌우하는 것은 줄무늬 수와 관측상에 있어서의 각 줄무늬 간의 강도차이다. 줄무늬 수가 일정하면, 위의 검출정밀도와 줄무늬 간의 강도차, 특히 주목 줄무늬의 강도치와 공간적으로 인접하는 줄무늬의 강도치의 차만으로 결정된다. 이번 연구는 그림 5와 같은 강도분포를 가지는 투영패턴 최적강도 변조패턴을 투영하는 방법을 제안하는 것이다. 최적강도 변조패턴은, 줄무늬의 강도변화규칙이 줄무늬의 방향정보를 나타내는 것, 즉 관측패턴화상에 있어서의 주목 줄무늬와 인접 줄무늬의 강도치로부터 강도변화규칙을 구해 그것에 따라 줄무늬 어드레스를 구하는 방법이다. 이로 인해 줄무늬 강도의 검출에 어느 정도의 오차가 있어도 그 강도변화규칙이 유지되는 한 어드레스를 올바르게 검출할 수 있다. 여기에서 줄무늬의 강도변화규칙의 논리적인 거리차를 최대화하도록 아래 두 가지조건을 만족하는 투영패턴을 최적강도변조 투영패턴으로써 정의한다.
(1)줄무늬 간의 강도차의 최소치가 최대이다.
(2)주목 줄무늬의 강도치와 공간적으로 인접하는 몇 개의 줄무늬 강도치와의 차가 최대이다.
다음으로 최적강도변조 패턴의 줄무늬 강도를 결정하는 방법을 설명한다. 투영패턴에 N개의 줄무늬가 있고, 투영광 강도의 최대치와 최소치를 각각 Imax와 Imin로 한다. i번째의 줄무늬의 강도를 Ii로 하여, 줄무늬의 강도분포가 (I1,I2···IN)으로 한다. 여기에서, Imin≤Ii≤Imax, 1≤i≤N.
그림 4와 같은 선형적으로 강도분포를 가진 투영패턴의 줄무늬 강도는 아래의 식을 만족시킨다.
줄무늬 강도분포 조합(I1, I2,··· IN)에 대해서, 각 주목 줄무늬와 그 인접영역 줄무늬의 강도치의 차를 종합적으로 평가하기 위해서, (3)식과 같은 평가함수 d(I1, I2,···IN)를 정의하고, 이 수치를 최대로 하는 조합을 최적조합으로 한다.
여기에서 kj는 무게개수이고, M은 국소영역의 사이즈, 즉 평가함수를 걸친 필터의 폭이다. 최적강도변조 투영패턴의 생성 알고리즘에 관한 설명은 여기에서 생략한다. 최적강도조합 투영패턴을 이용한 3차원 화상계측을 최적패턴광 투영 3차원 화상계측이라고 부르며, 한번의 투영으로 계측할 수 있기 때문에 비정지 물체로의 응용이 가능하다. 또한, 줄무늬의 어드레스를 판정할 때에, 주목 줄무늬뿐만 아니라 인접 줄무늬의 강도치도 이용하기 때문에 줄무늬 어드레스 판정에 있어 로버스트 성의 향상에 유효하다.
계측물체의 표면색이나 반사특성 등의 영향을 제거하기 위해서 이번 연구는 반사패턴광 화상과 패턴광을 투영하지 않고 촬영한 일반조명화상의 나눗셈 보정방법을 이용한다. 최적강도변조 투영패턴과 화상나눗셈 보정방법의 사용에 의해 앞서 언급했던 실용화를 위한 요구 1)과 2)를 만족시킬 수 있다.
실용화를 위한 화상계측제어
카메라의 유효적인 강도계측 레인지 즉, 감광특성의 근사적인 선형부분을 관측패턴 줄무늬의 이상적인 강도분포범위로 칭하며, 이처럼 강도분포를 가진 관측패턴화상을 이상적인 관측패턴화상이라고 칭한다. 이상적인 관측패턴화상을 취득할 수 있다면 인접줄무늬 간의 강도차가 커져 고정밀도의 줄무늬 어드레스 검출이 가능하다. 그러나 실계측시, 계측물체의 색이나 표면반사율 등의 영향에 의해 이상적인 강도분포를 가진 화상을 얻을 수 없는 경우가 있다. 그림 6은 그 일례이다. 계측물체는 다른 색의 도기이고, 카메라는 3CCD 디지털 카메라, 촬영모드는 전자동모드이다. 그림 6(a)는 계측물체의 화상, (b)는 강도가 40에서 210까지 선형적으로 변화하는 투영패턴이다. 그림 6(c)는 관측패턴화상, (d)는 각각 AA’라인과 BB’라인의 강도분포이다. 왼쪽 물체에 비친 줄무늬의 강도분포범위는 15~170 정도이고, 계측에 사용할 수 있는 범위이다.
오른쪽 물체의 줄무늬 강도의 분포범위는 0~80 정도 밖에 없어 굉장히 좁다. 특히, 아래에서부터 6번째 줄무늬까지의 강도치는 20보다 적어, 줄무늬의 어드레스 검출에 사용하기 어렵다.
카메라의 오토 모드를 이용하면 이상적인 강도분포를 가진 반사패턴화상을 얻을 수 있을 거라고 생각할 수 있지만, 카메라의 오토모드는 화상 안의 사전에 지정한 특정 점의 강도치를 정해진 방식으로 제어하여 화상전체의 강도분포를 지정범위 내에 분포시키는 것밖에 할 수 없고, 계측물체에 맞는 줄무늬의 강도를 필요한 범위 내에 분포시키는 일을 할 수 없다.
그림 6(c)는 전형적인 예로, 화상 대부분의 화소의 강도분포는 0~230 범위로 이상이지만, 반사강도가 높은 부분은 모두 배경에 있기 때문에 양 물체에 맞는 줄무늬의 강도는 모두 낮다.
이번 연구에서는 그림 7과 같은 화상계측제어 시스템을 제안하여, 촬영한 화상에 있어서의 계측물체 및 투영패턴 줄무늬의 강도분포에 의해 자동적으로 투영기와 카메라의 파라미터를 조절한다. 제안강도 제어수법의 실용성을 평가하기 위해서 그림 8과 같은 형상, 재질, 색, 텍스처, 표면반사율이 다른 물체 10개의 계측평가실험을 실시했는데, 2회 이내의 투영광 조절로 모든 물체는 좋은 계측결과를 얻을 수 있었다.
이러한 화상계측제어기술의 사용에 따라, 앞서 들었던 실용화를 위한 요구 2), 3) 및 4)를 만족시킬 수 있다. 또한, 패턴광 투영제어에 걸리는 시간에 대해서는, 2회 정도의 투영광 강도조절밖에 필요하지 않기 때문에 요구 1)에 있는 비정지 물체로의 응용도 가능하다.
입체카메라(전자동 3차원 계측기)의 개발과 실용
최적강도변조 패턴광 투영기술과 화상계측 제어기술을 이용하여, 입체카메라(전자동 3차원 계측기)를 개발했다. 그림 9는 개발한 입체카메라(전자동 계측기)의 외관으로, 상자 안에 투광기와 디지털 카메라가 들어가 있는데, 투광기는 일반 카메라의 플래시에 해당하며 시판되는 것을 사용하고 있다. 카메라는 보통의 2차원식 디지털 카메라이며, CCD에서도 CMOS에서도 사용할 수 있다. 그림 10은 계측 시스템의 구성도이고, 컴퓨터는 보통의 Windows 운영체제를 사용한다.
촬영은 보통의 카메라 감각으로, 셔터 버튼에 해당하는 키보드의 「F1」키를 누르는 것만으로, 투영패턴의 강도분포, 공간주파수, 카메라의 파라미터 등을 자동적으로 조절하는데다가 반사패턴을 촬영하여 컴퓨터 해석으로부터 물체의 3차원 표면정보를 자동적으로 산출한다. 또, 계측결과는 3DCG에 의한 시각적인 표현이 가능하고, 각 계측전의 3차원 세계좌표의 출력도 가능하며, 지정한 계측전환의 거리, 면적, 부피 등의 계산도 가능하다.
그림 10은 개발한 입체카메라(전자동 3차원화상 계측기)를 이용한 얼굴의 3차원계측 예이다. 그림에서 알 수 있듯이, 투영패턴과 반사패턴은 같은 줄무늬 강도화의 규칙성을 가지고 있다. 이 규칙성으로부터 줄무늬의 어드레스를 올바르게 추정할 수 있어 로버스트적인 3차원 계측이 가능하다. 입체카메라(전자동 3차원화상 계측기)의 실용 예로써, 다음과 같은 분야를 생각할 수 있다.
1) 공장현장의 생산물의 형상계측과 품질관리
입체카메라(전자동 3차원화상 계측기)와 리얼타임에서의 계측이 가능하기 때문에, 공장현장에 있어서의 생산물의 형상계측이나 계측된 치수와 설계치수와 비교하여 양질의 제품인지 어닌지의 자동판단도 가능하다. 현재 산학제휴의 형태로 실용화하고 있다.
2) 3차원 얼굴인식과 시큐리티 관리
현재 입·퇴실 관리나 방범을 위한 얼굴인식기술이 폭넓게 사용되고 있다. 그러나 현재 주로 사용되고 있는 얼굴인식기술은 대부분 2차원 얼굴화상을 사용하고 있어, 화장 등의 대응이 어렵다. 3차원화상을 이용하는 얼굴인식이 이전부터 생각되고 있었지만, 종래의 3차원화상 계측장치에서는 얼굴의 3차원화상 획득이 간단하지 않았기 때문에 좀처럼 실용화되어 있지 않다. 그러나 입체카메라는 간단히 사람 얼굴의 3차원화상을 취득할 수 있기 때문에 3차원얼굴인식도 간단하게 할 수 있다. 필자의 연구실에서는 구형모델을 이용한 3차원얼굴인식 등의 수법을 제안하여 현재 실용화 연구를 진행하고 있다.
3) 수술효과의 확인
구강외과나 정형외과 등의 수술에 있어서, 수술전후의 3차원사진의 비교를 통해 수술효과를 알기 쉽게 이해하는 것이 가능하다. 그러나 현재의 3차원 계측장치는 레이저 스캐너 방식이 많고, 뼈에 관한 설명에는 뢴트겐 사진이 대부분으로, 모두 환자에게 방사능 노출의 가능성이 있다. 그러나 입체카메라는 레이저도 X선도 사용하지 않고, 다만 보통의 가시광을 사용하고 있기 때문에, 안전함과 동시에 빠른 속도의 인체계측이 가능하다. 현재 의료분야 전용 계측기 개발을 진행하고 있다.
맺음말
여기서는 패턴광 투영에 근거해 3차원화상 계측방법의 실용화 문제 해결을 시도했다. 이를 위해 최적강도변조 패턴광 투영기술과 화상계측 제어기술을 제안하여 입체카메라를 개발했다. 제안기술은 한 번의 패턴광 투영으로 물체의 3차원계측이 가능하기 때문에, 계측속도가 빠르고, 비정지물체 형상계측 분야로의 응용도 가능하다. 또한, 계측물체의 색 분포, 표면반사특성, 크기 등 정보로부터 투영광의 강도치 분포 및 투영패턴의 공간주파수분포를 자동적으로 조절할 수 있기 때문에, 크기, 형상, 색 분포, 반사특성 등 정보를 알 수 없는 물체에 대한 대응도 가능하다.
제안기술은 가시광만 사용하고, 레이저나 X선 등 인체에 위험을 끼칠 가능성이 있는 에너지를 사용하지 않기 때문에 인체계측에의 응용도 가능하다. 제안기술의 실용화는 산학제휴 추진 프로젝트로써 수행되어 그 일부는 후쿠오카 공업대학의 개발 벤처인 3D이미지 연구소를 통해 제품화되고 있다.
<글 : 루춘웨이(Lu cun wei) 후쿠오카공업대학>
[월간 시큐리티월드 통권 제160호(info@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
.jpg)
_m.jpg)
.jpg)
.jpg)
