전방위 카메라와 편광필터에 의한 노면습윤 상태 검출

[시큐리티월드=도야마대학 시바타 히로시·홋타 유코·하야시 가즈노리] 최근 정보통신 기술을 이용해 도로교통의 편리성과 안전성을 향상시킬 수 있는 지능형 교통 시스템(Intelligent Transport Systems, 이하 ITS) 연구가 활발히 진행되고 있다.

그 중에서도 센싱 기술을 이용해 도로 위에 물이 고여 있거나, 얼어 있는 것과 같은 위험 상황을 미리 파악하는 기술이 최근 주목 받고 있다. 운전자에게 위험 정보를 미리 알려줄 수 있고, 자동운전 시스템의 보조로 연결될 수 있는 등 그 활용가치가 높기 때문이다. 따라서 이번 기사에서는 전방위 카메라, 거울, 편광필터를 조합해 개발한 전방위 수직·수평 방향의 편광 특성 동시 확인 장치를 이용해 광범위한 노면 습윤 상황 검출법을 소개하고자 한다.

노면의 현재 상태를 파악할 수 있는 기술 연구에는 다양한 방법이 존재한다. 노면을 관측한 정점 카메라 영상의 텍스처 정보를 이용하는 방법, 적외광이 가지는 흡수성을 이용하는 방법 등이 바로 그것이다.

우에다1)∼3) 씨 등이 연구한 노면의 반사광에서 볼 수 있는 편광 특성을 이용해 수막현상(Hydroplaning)의 원인이 될 수 있는 노면의 습윤상황을 검출하는 방법 역시 그 중 하나라고 볼 수 있다. 자연광을 광원으로 노면의 수직·수평 편광 영상을 촬영하고 그것들의 휘도 값인 수직·수평 편광성분을 비교해 노면상태를 인식한다.

구체적으로 설명하면 안전한 상태인 건조노면에서는 거친 반사면에 의해 그림 1과 같이 난반사가 일어나므로, 수직 편광성분과 수평 편광성분이 거의 동일해 진다. 그러나 위험상태인 수막노면에서는 평평한 반사면에 의해 그림 2와 같이 정반사가 일어나므로 수직 편광성분이 수평 편광성분보다 커지는 것을 이용한다.

즉 노면이 물로 덮여 있는 수막으로부터 반사되는 반사광은 프레넬의 법칙에 의해 수직 편광성분과 수평 편광성분이 다른 값을 나타내지만 건조한 노면에서의 반사광은 울퉁불퉁한 반사 표면의 난반사에 의해 수직·수평 편광성분이 거의 동일하다는 성질을 이용한 것이다.

그림 3은 경계면에 있어 반사의 입체도와 편광 필터를 통해 촬영된 수막의 노면 상태를 나타낸 것이다.

그러나 이 방법은 수직방향과 수평방향의 편광성분이 필요하기 때문에 다른 편광필터를 가지는 2대의 정점 카메라가 필요하다. 이것을 이용해 교차점을 관측할 때는 그림 4와 같이 4곳의 방향에 각각 2대의 카메라, 즉 총 8대의 정점 카메라가 필요하다.

그래서 이번 기사에서는 전방위 영역을 촬영할 수 있는 PAL(Panoramic Annular Lens)과 편광 특성에 의한 노면습윤 상황을 검출할 수 있는 방법을 조합해 개발한 1대의 ‘PAL 카메라 유닛’으로 그림 5와 같이 광범위한 노면습윤 상황을 검출할 수 있도록 했다. 교차점 신호기 아랫부분 등에 이 장치를 설치하면 1대로 전방위 상황을 확인할 수 있다.

전방위 렌즈(PAL)

Panoramic Annular Lens(PAL)4)5)란 1985년 Greguss에 의해 개발된 전방위 센서 중 하나로, 다수의 반사광학 구조를 조합시킨 전방위 렌즈다. 쌍곡면 거울을 이용한 Hyper Omni Vision6)7)과 마찬가지로 특유의 광학구조를 가지고 있다. PAL에는 4개의 광학면(볼록면렌즈, 오목거울, 볼록거울, 평면)이 일체화돼 있어 광축의 조정이 불필요하며 작고 튼튼하다는 것이 특징이다.

또 다른 전방위 렌즈와 비교해 원환 영상에 찍히는 스팟 다이어그램의 퍼짐이 적고 영상 주변의 흐릿함이 적다는 장점8)이 있어 이번 노면습윤 상황 검출에 PAL을 사용하게 됐다.

이번 기사에서 사용한 PAL의 외관과 광학 특성은 그림 6, 그림 7과 같으며 얻을 수 있는 촬영영상은 그림 8과 같다(다테야마시스템연구소 제품). PAL과 편광특성에 의한 노면습윤 상황 검출방식을 조합해 전방위 영상에 의한 노면습윤 상황 검출을 실시했다.

편광에 의한 습윤 상태 검출 원리

비편광인 자연광 등의 광원이 수면을 비출 때 그 반사광은 편광 특성을 가진다9). 이 성질에 의해 수평방향의 편광 필터를 투과한 영상의 휘도 값은 수직방향의 편광 필터를 투과한 영상의 휘도 값보다 낮은 값을 갖는다. 따라서 휘도 값의 차이를 나타내는 특징량을 이용하면 노면에 존재하는 습윤상황을 검출할 수 있다(그림 9).

PAL 편광 유닛

이번 기사에서는 보다 효율적으로 전방위 카메라에 의한 습윤상황을 검출하기 위해 PAL 편광 유닛이라 불리는 실험 장치를 개발했다10). 이 장치의 외관은 그림 10과 같으며 PAL, 거울, 수직·수평방향 편광 필터로 구성된다. 이 유닛은 PAL에 직접 입사되는 ‘실상’과 유닛 상부에 설치된 거울에 의해 반사되어 PAL에 입사되는 ‘거울상’이 부분적으로 같은 영역을 비추도록 설계됐다.

그림 11은 유닛에 입사되는 광선의 행로를 모식적으로 나타낸 것이며 광선은 아래에 나타내는 A∼D 4종류로 나누어서 생각할 수 있다.

광선 A:수직방향 편광 필터를 투과한 거울상

광선 B:수평방향 편광 필터를 투과한 거울상

광선 C:수평방향 편광 필터를 투과한 실상

광선 D:수직방향 편광 필터를 투과한 실상

이들 4종류의 광선 중 광선 B와 광선 D가 부분적으로 같은 영역을 찍으며 각각 투과되는 편광 필터의 방향은 다르다. 따라서 이 유닛에 의해 전방위의 수평·수직방향 편광 필터를 투과한 영상을 동시에 촬영하는 것이 가능해진다11)∼13).

우에다1) 씨 등은 습윤상황 검출에 필요한 수평·수직방향의 편광 필터 투과 영상을 1대의 카메라로 필터의 방향을 바꾸면서 촬영했다. 또 야마다2)3) 씨 등은 각각의 편광 필터를 장착한 2대의 카메라로 촬영했다. 그러나 이 방법에서는 두 개의 투과 영상 간의 시간적·공간적 차이가 발생했다. 이 유닛은 한 번의 촬영으로 그것들의 영상을 확인할 수 있기 때문에 시간적인 영상 간 차이를 고려할 필요가 없고 유닛의 거울상과 실상의 시간적·공간적인 차이도 파노라마 영상 전개 시 보정을 실시하는 것으로 거의 같은 영역을 포개는 것이 가능하다.

PAL 영상으로부터 노면상태 판별법

PAL 편광유닛을 사용해 노면습윤 상황을 검출하는 방법은 다음과 같은 순서로 실시한다(그림 12).

① PAL 편광 유닛으로부터 PAL영상을 취득한다.

② 취득한 PAL 영상을 파노라마 전개한다.

③ 파노라마 영상으로부터 수직 편광성분 IS, 수평 편광성분 IP를 추출한다.

④ 수평·수직 편광성분의 거울상은 거꾸로 찍히기 때문에 ‘거울상’ 영상을 반전시킨다.

⑤ 얻어진 수직·수평 편광성분으로부터 특징량 H(양쪽 편광성분의 비)를 산출한다.

⑥ 특징량 H로부터 그 습윤상황을 수막상태, 습윤상태, 건조상태 등 3종류로 식별한다.

편광유닛으로부터의 형상 취득

PAL 편광유닛으로 촬영한 영상은 그림 13과 같은 원환(圓環) 영상이 된다. PAL 영상은 렌즈의 위쪽 방향이 영상 중앙 안쪽 원 부분에, 아래 방향은 영상의 바깥쪽 바깥 원 부분에 찍히는 특성을 가진다. 이 때문에 PAL 편광 유닛에서는 위쪽 거울에 비치는 거울상은 안쪽 원 부분에 찍히고 실상은 바깥쪽 원 부분에 찍힌다.

파노라마 전개 영상의 생성

다음은 PAL 편광 유닛에 의해 얻어진 PAL 영상(극좌표계)을 직교 좌표계로 변환해 파노라마 전개 영상을 생성한다. 여기서 문제가 되는 것이 PAL 영상에 찍힌 위치와 앙각의 관계에 의해 일어나는 파노라마 전개 영상 중의 연직방향 변형이다.

그림 13이 나타내고 있는 것과 같이 PAL 영상 중 A∼D영역은 안쪽 원에서 바깥 원 쪽으로 서서히 면적을 크게 하고 있다. 따라서 이 PAL 영상에 대해 일반적인 역Log-Polar 변환을 실시해 파노라마 전개 영상을 취득하는 경우 그 전개 영상 중에 A∼D 영역의 면적은 현저히 달라지게 된다.

그래서 하세14) 씨 등은 마찬가지로 렌즈에 대해 찍히는 위치와 앙각의 관계를 구해 PAL의 광학 특성에 있어 변형 보정함수f(r)를 작성했다. 이 보정함수 f(r)을 이용해 직교 좌표계에 있어 수직방향으로 찍히는 위치의 변형을 보정한 파노라마 전개 영상을 작성할 수 있게 된다.

수직·수평 편광성분 추출

노면상황 검출의 특징량을 산출하기 위해서 얻어진 파노라마 전개 영상으로부터 수직방향, 수평방향의 편광성분을 추출한다. 먼저 PAL 편광 유닛으로 촬영되는 영상에는 A∼D 네 종류의 광선에 의한 영역이 존재한다. 여기에서 공통의 촬상 영역을 가지는 B, D 영역을 추출할 필요가 있다.

이를 위해 PAL 편광 유닛의 구조에서 발생하는 A∼D 영역의 경계선을 이용한다. 이러한 경계선들은 그림 13과 같이 촬영 영상 중에서는 동심원 모양으로 퍼지는 형태를 가지지만 그림 14에 있는 것과 같이 파노라마 전개 영상 중에서는 3개의 수평방향 직선이 된다.

따라서 파노라마 전개 영상에 대해 Canny법을 사용해 에지를 추출하고 하프 변환으로 수평방향 직선을 검출해 영역 간 경계선을 검출한다. B영역의 경우 추출한 상태에서는 상하가 반전된 상태로 찍혀 있기 때문에 이것을 반전한다.

반전을 수정한 B영역, D영역의 영상에서 휘도를 산출해 각각 수평 편광성분 IP, 수직 편광성분 IS로 한다. PAL의 파노라마 전개 영상에서는 B영역, D영역에서 수평방향은 일치하고 있으며 간단하게 포개는 것이 가능하기 때문에 다음에 설명하는 특징량의 산출이 용이하다.

특징량 산출

전방위 편광 유닛으로부터 얻은 노면의 수평 편광성분 IP, 수직 편광성분 IS의 비를 아래 식과 같이 산출해 입사광 강도 I에 의존하지 않는 형태의 습윤상황 검출을 위한 특징량 H를 얻을 수 있다.

노면 습윤상황 검출

이렇게 얻은 특징량 H에 역치 처리를 해 노면의 습윤상황을 수막상태(완전히 침수되어 있는 상황), 습윤상태(표면이 축축해져 있는 상황), 건조상태(수분이 존재하지 않는 상황) 3단계로 나누어 검출한다. 노면의 습윤상황에 따라 특징량 H의 값이 커지기 때문에 특징량 H에 의해 노면 습윤상황 검출이 가능하다고 할 수 있다.

실험

PAL 편광 유닛을 옥외 노면 위에 설치하고 습윤상황을 검출했다. 유닛에 장착하는 TV카메라는 Sony제품 HDR-FX7이며, 촬영된 영상의 해상도는 1,440×810 픽셀이다. 실험 환경은 그림 15에서 나타내는 것과 같이 촬영 영역 내에 3개의 직사각형을 만들고 그 직사각형 내에 물을 살포해 각각 수막상태, 습윤상태, 건조상태로 만들었다.

이 실험환경에서 PAL 편광유닛으로 촬영한 그림 15에 대해 일련의 습윤상황 검출 처리를 해 특징량 H를 얻는다. 이어 특징량 H로부터 최적이라고 생각되는 역치를 취득하고 역치 처리에 의해 검출결과 영상을 작성한다. 그 검출 결과 영상 중 세개 직사각형의 검출률을 산출했다.

노면상황 검출 결과

그림 16은 그림 15의 영상을 파노라마 전개하고 편광성분으로부터 산출한 습윤상황 검출을 위한 특징량 H를 나타낸 것이다. 왼쪽부터 수막상태, 습윤상태, 건조상태다. 라인의 프로파일로부터도 직사각형 내의 습윤상황 단계에 따라 H 값의 변화 모습이 표현됐다.

실험 결과 수막상태와 건조상태에서는 각각 약 88%, 약 97%로 높은 검출률을 보였다. 그러나 습윤 상태에서는 약 40%로 낮은 검출률을 보였다. 이러한 결과의 원인으로는 습윤상태라는 중간 상황이 갖는 애매함을 들 수 있다. 노면이 완전히 침수돼 있는 수막상태에서는 그 반사광을 편광으로 얻을 수 있다. 건조상태에서는 거친 면에 의해 반사광은 노면 표면에서 난반사를 하기 때문에 반사광은 무편광이 된다.

이에 습윤상태에서는 다른 두 상황의 중간 특성을 가지기 때문에 명확한 분류가 어렵다. 그러나 제안 방법은 슬립 사고나 수막현상의 원인이 되는 수막상태를 높은 정밀도로 검출할 수 있기 때문에 유용하다고할 수 있다.

PAL 편광 유닛의 이점

앞서 정점 카메라로 행해져 온 편광을 사용한 습윤상황 검출방법을 전방위 카메라를 이용해 전방위 영상에 의한 노면습윤 상황 검출방법을 설명했다. 편광을 사용한 습윤상황 검출에 있어 문제가 된 수평방향·수직방향의 편광 필터 투과 영상 취득방법과 관련해 PAL, 편광 필터, 거울을 조합시킨 촬영 유닛을 개발함으로써 수직·수평 방향 편광 필터 투과 영상을 1번의 촬영으로 취득할 수 있게 됐으며, 2개 영상 간의 시간적·공간적 차이를 고려할 필요가 없어졌다.

[참고문헌]

1) 우에다 고지, 호리바이 사오, 이케가야 가즈오, 오이 후미노리 : ‘영상처리를 이용한 노면 습윤상황 검출 방식’, 정보처리론, Vol. 35, 6, pp.1072-1080(1994)

2) 야마다 무네오, 우에다 고지, 호리바 이사오, 쓰가와 사다유키, 야마모토 신 : ‘영상처리에 의한 차량용 노면상태 검출 센서 개발’, 전기학론C, Vol. 124, 3, pp.753-760(2004)

3) 야마다 무네오, 호리바 이사오, 스기에 노보루, 우에다 고지 : ‘영상 정보에 의한 노면상태 판별’, 정보처리론, Vol. 38, 12, pp.2648-2655(1997)

4) Greguss.P, The Tube Peeper，“A New Concept in Endoscopy”，Optics and Laser Technology, pp.41-45 (1985)

5) P.Greguss，“PAL-optic based instruments for space research and robotics”，Laser and Optoelektronik,Vol.28, pp.43-49 (1996)

6) Y.Yagi，“Omni directional Sensing and Its Applications”, IEICE transactions on information and systems，Vol.E82-D，No.3，pp.568-579 (1999)

7) 야기 야스시, 야치다 마사히코 : ‘실시간 전방위 시각 센서’, 정보처리론 : 컴퓨터 비전과 이미지 미디어, Vol. 42, SIG 13(CVM3), pp.19-31(2001)

8) D.L.Lehner，A.G.Richter，D.R.Matthys and J.A.Gilbert, “Characterization of the panoramic annular lens”，Experimental Mechanics,Vol.36，No.4，pp.333-338 (1996)

9) 미야자키 다이스케, 이케우치 가쓰후미 : ‘편광의 기초 이론과 응용’, 정보처리론 : 컴퓨터 비전과 이미지 미디어, Vol. 1, 1, pp.64-72(2008)

10) 홋타 유코, 모로하시 고헤이, 하야시 가즈노리, 도이 다다시 : ‘파노라마 촬상 방법과 장치’, 특허 제5152901호 (2012)

11) 하야시 유지, 마쓰모토 유타, 시바타 히로시, 홋타 유코, 하야시 가즈노리, 모로하시 고헤이, 도이 다다시: ‘전방위 카메라와 편광판을 사용한 전방위 편광 영상의 취득’, 영상전자학회연구보고, Vol. 237, pp.199-202(2008)

12) 하야시 유지, 시바타 히로시, 홋타 유코, 하야시 가즈노리, 모로하시 고헤이, 도이 다다시 : ‘전방위 카메라와 편광 필터를 사용한 노면 습윤상황 인식’ ViEW 2008 강연논문, pp.274-278(2008)

13) 시바타 히로시, 나카가와 가즈야, 하야시 유지, 홋타 유코 : 전방위 카메라와 편광 필터에 의한 노면 습윤상황 검출, 영상전자학회지, Vol. 41, No. 4, pp.352-359(2012)

14) 나가타니 히로유키, 가와이 히로부미, 프랭크, 에쿠파르, 요네다 마사아키, 가토 젠 : ‘스테레오 PAL 영상에 의한 거리 측정과 그 정밀도에 대해서’, 신학론,A, Vol. J86-A, 4, pp.474-481(2003)

[글_도야마대학 시바타 히로시·홋타 유코·하야시 가즈노리]

[월간 시큐리티월드 통권 218호 (sw@infothe.com)]

우리나라 정보보호 수준 향상을 위해 이재명 정부에게 가장 바라는 점은 무엇인가요?
	ISMS 등 보안 인증 제도 실효성 개선
	AI 보안, 양자보안 등 보안 기술 연구개발 지원 확대
	중소 기업 보안 지원 확대
	기업 보안 예산 비율 의무화
	국가 정보보호 거버넌스 체계 정비
	기타(댓글로)