.jpg)
 |
ITS(지능형 교통 시스템)에서는 다양한 센서를 이용해서 ‘안전’, ‘쾌적’을 목표로 한 시스템이 연구·실용화 되고 있다. 인프라로 설치된 센서정보로부터는 통과하는 차량의 검출 및 속도 계측, 차종의 판별, 그리고 돌발현상이라 불리는 사고 등을 검출하고 있다. 차량에 설치된 센서로는 주행로의 검출과 이상 판별, 앞차 등 주변을 주행하는 차량의 거동 관측, 도로 표식의 식별, 보행자 검출, 운전자의 상태 관측 등이 행해지고 있다.
여기서 소개하고자 하는 것은 도로 인프라로 설치된 영상센서를 이용한 교통흐름 계측에 대한 것이다. 이러한 영상처리에 의한 교통흐름 계측의 연구는 1970년경부터 행해졌으나 당시는 영상처리를 위한 전용 장치가 필요해서 알고리즘에 제약이 있었다. 하지만 최근 컴퓨터의 성능이 좋아지고 컴퓨터 비전(Computer Vision) 분야의 연구성과를 이용할 수 있게 됨에 따라 다양한 방법이 제안되고 있으며, 촬영조건이 좋을 경우의 검출 정밀도는 상당히 높다고 할 수 있다. 그러나 실용화 관점에서 보면 다음과 같은 과제가 지적되어 검출 정밀도 열화의 원인이 되고 있다.
① 조명조건의 다양성 : 강우, 야간, 일광 등 날씨에 기인하는 촬영조건의 악화
② 차량의 다양성 : 차량의 색, 형상이 다양하다, 정체 등에 기인하는 차량의 겹침
③ 시각(Angle of View)의 다양성 : 영상처리에 적절한 시각이 아닌 경우
여기에서는 차량의 존재 검출 및 차량궤적의 추출에 대해서 종래 기술을 개관하는 동시에 관측대상을 고속도로 요금소 주변으로 하는 최근 연구상황을 소개한다.
고속도로 요금소 부근을 대상으로 한 이유는 최근 ETC 시스템(Electronic Toll Collection System, 하이패스)의 증설이나 고속도로의 휴일 특별할인 등에 의해 ETC 이용자가 증가된 한편, ETC를 이용하지 않는 운전자는 그것에 익숙하지 않을 경우가 많아 차선을 잘못 선택해 요금소 부근에서 급격한 차선변경을 하는 위험차량이 자주 나타나고 있기 때문이다. 또한, 요금소 부근의 상황 감시가 사고예방을 위해 필요성이 높다. 이와 함께 본선 혹은 분합류 부분의 교통흐름을 분석하는 주된 목적이 통과 차량의 대수를 집계하는 것도 중요한 이유 중 하나다.
이와 같은 필요에 의해 그림 1에 나타낸 것과 같이 복수의 요금소에서 같은 기능을 가진 검출 시스템이 필요함에도 불구하고 위에 언급한 3가지 과제 때문에 요금소별로 커스터 마이즈를 할 필요가 있었다.
고속도로 요금소는 여러 곳이 있으며 각각 다르지만 공통된 특징도 가지고 있다. 그림 1은 이번 연구에서 대상으로 하고 있는 나고야 고속도로의 요금소 예를 나타낸다. 공통의 특징을 찾아내는 것은 이를 시스템에 이용하여 위의 3가지 과제를 해결하고 요금소 공통의 시스템을 구축하는 것을 목표로 하고 있기 때문이다.
인프라 영상에서 차량을 검출하는 방법
고정 카메라를 이용해 차량 검출 및 추적을 하기 위해서 여러 가지 시도가 이루어져 왔다.
전형적인 방법으로 배경 차분(差分) 또는, 프레임 차분, 2치화, 라벨링을 하여 얻어진 라벨을 차량이라고 판정하는 방법1)이 있으나 과검출, 미검출뿐만 아니라 1대의 차량이 2개의 라벨로 분할되거나 2대의 차량이 오클루전(Occlusion)되어 1개의 라벨로 통합되거나 하는 복잡한 검출 오류가 발생한다. 또, 차량에 많이 포함되어 있는 특징점을 검출하여 특징점의 군을 차량이라고 판정하는 방법2)은 그림 2에 나타내는 것과 같이 동일 프로그램을 다양한 촬영조건에 적용해도 특징점을 얻을 수 있는 방법이지만 특징점군을 차량으로 분할할 때 오클루전의 영향을 받기 쉽다. 또, 영상을 소영역으로 분할해서 영역의 특징량을 추출해 차량 모델을 일치시킨 것을 차량이라고 판정하는 방법3)도 있다.
대부분의 방법은 프레임별 2차원 영상 If(x,y)에서 차량 후보를 검출하고 연속하는 프레임 간에 차량의 이동량이 작은 것을 이용한 시계열 처리로 정밀도를 향상시키는 방법인데, 인접 프레임간의 움직임 정보를 이용하는 것, 복수 프레임 이미지를 3차원 영상 Bf(x,y,z):t=f-T→f로 해서 3차원 라벨링4)을 이용하는 방법 등도 있다.
배경 차분에 근거하는 것에서는 배경 영상이 획득되어 있거나 혹은 동적으로 생성되는 상황을 상정하고 있다. 하지만 고속도로 요금소에 있어 감시는 24시간 감시가 필요하고 또 배경 영상을 촬영하기 위해서 도로 통행을 금지하는 것은 현실적이지 않기 때문에 배경 영상의 동적 갱신이 필요하게 된다. 이때 적절하게 배경 갱신이 이루어지지 않으면 적절한 차분 영상을 얻을 수 없어 결과적으로 올바른 차량 추적결과를 얻을 수 없다.
다음 장에서는 배경을 갱신하는 방법을 개량하는 동시에 요금소 주변 영상의 특징을 이용한 방법을 실장하고 있다.
「프레임간 차분과 3차원 라벨링을 이용한 차량 추적」과 「차선 영상으로부터 프로젝션에 근거하는 차종 판별」에서는 배경 영상을 생성하여 갱신하지 않고 프레임간 차분과 3차원 라벨링을 이용해 차량을 추적하는 방법을 제안한다.
대상 영상 및 요금소 주변 영상의 특징
 |
 |
차선 영상
그림 1에 나타낸 것과 같이 요금소는 먼 곳에 2차선의 주행 차선이 있고 앞쪽에 요금수수를 위한 차선이 있다. 차선 수는 요금소마다 다르지만 같은 요금소에서는 변화가 없다.
또, 차선의 종류는 ETC차 전용차선, ETC차·일반차 혼재차선, 일반차 전용차선의 3종류가 있으며 상황에 따라 변화된다. 이들을 고려해서 그림 4에 나타낸 것과 같은 화소 값을 차선번호로 하는 차선 영상을 작성하면 다른 요금소에도 같은 프로그램을 적용하기 위해 요금소별 차선 영상과 부수되는 데이터로 구조의 차이를 표현하는 것이 가능하다.
또한, 차선에는 대부분의 차량이 차선을 따라 주행한다는 특징이 있다. 이 특징을 이용해서 차선 영상을 작성할 수 있으며 동시에 차량 검출에도 이용할 수 있다.
차선 영상의 작성
인프라로 설치된 카메라는 위치가 고정되고 있어 영상처리를 할 경우에는 고정 카메라라고 생각해도 된다. 그러나 육안에 의한 감시용이므로 필요에 따라 회전이나 줌이 필요하다. 따라서 차선 영상을 조정할 수 있도록 작성할 필요가 있다. 또, 같은 요금소라도 직접 수작업으로 카메라를 이동하는 경우가 있는데, 표준위치로 되돌리는 것도 수작업이기 때문에 오차는 피할 수 없어 위치관계의 미조정이 항상 필요하다.
차선 영상을 작성하기 위해서 이용하는 영상을 어시스트 영상 G(x,y)이라고 한다. 어시스트 영상은 차량후보 영상을 누적해서 자동 생성한다. 그 다음에 초기값이 0인 영상 기억영역 R(x,y)을 준비하고 입력 영상 If(x,y)에서 차량후보 영역을 추출하여 프레임f에서 얻는 2치 영상 Df(x,y)의 각 화소 값을 다음 식으로 가산한다.
호시자키 요금소에 대해서 위와 같은 처리를 했을 때 영상 기억영역의 영상 변용을 그림 5에 나타낸다. 이와 같이 가산하는 프레임 수를 늘리면 차량이 이동하는 영역이 서서히 하얗게 된다. (b)정도가 되면 밝은 띠 모양의 영역이 차선이기 때문에 차선 수, 차선 폭 등의 지식을 주어 쉽게 차선 영상을 작성할 수 있다.
 |
 |
차선 영상으로부터 배경 영상 작성
배경 차분에 근거를 두는 차량 검출에서는 배경 영상의 좋고 나쁨이 결과에 영향을 주기 때문에 많은 연구가 이루어지고 있다. 통상은 (2)식의 α 블렌딩이 이용된다.
단순한 알파 블렌딩으로는 충분하지 않으므로 통과 차량의 영향을 피하기 위해 프레임 차분 값이 큰 화소에서는 α=0로 하는 등의 방법이 사용된다. 또, 차선 영상에 따라 차선 중앙에서는 차량이 존재할 확률이 크다고 하여 배경 갱신의 역치를 높인다. 또는 배경 차분의 2치화 역치를 내리거나 해서 정밀도를 높이는 연구를 하고 있다.
실험 1, 주행 차선-요금소 차선 변경 행렬
지금까지 말한 시스템을 실장해서 나고야 고속도로의 6개 요금소 영상으로 실험을 했다. 프레임 수는 19270frame(약 10분간)이다. 통계적으로는 어느 주행차선에서 어느 요금소 차선으로의 통행이 잦은 지가 중요하다. 10분 동안 얻은 약 300대의 차량궤적을 겹쳐 표시한 것이 그림 6이다.
실험 2, 이상주행 차량의 검출
이상주행에 대한 일반적인 정의는 없지만 여기에서는 복수 차선을 건너는 차선 변경을 이상주행이라 했다. 그림 7에 나타낸 것과 같이 10분 동안 17대나 되는 이상차량을 검출했다.
프레임간 차분과 3차원 라벨링을 이용한 차량 추적
배경 영상 갱신이 쉽지 않기 때문에 이 절에서는 배경 영상을 생성해 갱신을 하지 않고 프레임간 차분과 3차원 라벨링을 이용하여 차량을 추적하는 방법에 대해 기술한다.
방법
f-1 프레임과 f 프레임 영상을 이용해서 프레임간 차분 영상을 생성하고 임계값 처리를 통해 얻은 2차 영상을 Df(x,y)로 나타낸다. 프레임간 차분에서는 차량의 윤곽선을 추출하게 되므로 윤곽선이 중간 중간 끊어지게 된다. 또한, 팽창/수축 처리 등의 몰폴로지(Morphology)로 이 성분을 연결하는 시도도 이루어지고 있다. 이 방법에서는 프레임간의 3차원 라벨링 처리로 메우는 것으로 한다.
2치 영상 Df(x,y)를 T프레임에 모아 3차원 공간 Vf(x,y,z)을 구축한다. 좌표(x,y)가 영상 속 화소의 위치를 나타내고 t=f-T → f이다. 초기 프레임에서는 2치 영상 D0(x,y)에 대해 통상의 라벨링 처리를 하여 2차원의 라벨링 영상을 얻는다. 이것을 V0(x,y,z)라 한다.
이후 f프레임에서는 Df(x,y)와 Vf-1(x,y,z)을 함께 처리한다. 그림 8에 나타낸 것과 같이 중앙 엷은 색의 화소 Df(x,y)를 주목할 화소라 하면 백색의 인접 화소의 좌표는 식(3)과 같이 되며 합계 13화소가 존재하고 이미 화소값은 라벨번호로 되어 있다.
2차원인 경우와 마찬가지로 주목할 화소 근방에 배경 화소밖에 없으면 새로운 라벨을 생성하고 그렇지 않을 때는 최소의 라벨번호를 Vf(x,y,z)에 대입한다. 이 처리가 끝난 후 라벨번호를 정리한다. 이 결과 동일 라벨번호를 가지는 화소의 집합은 그림 9와 같이 차량의 3차원 궤적을 나타내게 된다.
요금소에 있어서의 실험
그림 10과 그림 11에 나고야 고속의 호시자키와 구스노키 요금소에 있어 감시 영상을 이용해서 차량 추적을 한 실험결과를 나타낸다. 각각 상단에 입력 영상, 하단에 프레임간 차분 영상을 임계값 처리한 영상을 나타내고 있다. 각각 소형차와 대형차의 추적 결과가 사각으로 둘러싸여 있다. 모든 결과에 있어서 차량이 양호하게 추출되어 있는 것을 알 수 있다. 한편, 태양광의 영향으로 차량 옆에 그림자가 생겨 프레임에 따라 그림자가 차량영역으로 추출되어 있는 것을 알 수 있다. 색 분포의 차이로부터 이 그림자의 영향은 경감시킬 수 있다. 차량 및 기타 프레임에 있어서 차량 영역만 영상에서 잘 추출되어 있어 정확하게 추출되어 있다는 것을 알 수 있다. 위와 같은 실험을 통해 프레임간 차분을 이용하여 차량영역을 추출하고 3차원 라벨링을 하여 차량을 시계열에 걸쳐 추적하는 방법을 살펴볼 수 있다. 또한, 배경 영상의 갱신에 실패하기 쉬운 상황에서도 차량을 정확하게 추출, 추적할 수 있다는 것을 알 수 있다.
차선 영상으로부터의 프로젝션에 근거한 차종 판별
방법
앞에서 기술한 것은 3차원 라벨링에 의한 궤적을 추출하고 그 차선과 수직인 단면으로의 프로젝션 폭을 특징량으로 해서 그 클러스터링에 의해 차종을 판별한다. 이때 프로젝션을 할 때에 거리의 변화에 의한 차량 크기 변화와 주행로가 직선이 아닌 것에 의한 변화를 제거하기 위해 「대상 화상 요금소 주변 화상의 특징」에서 이용한 차선 화상을 이용한다. 차선 화상의 화소값은 차선번호이며 거리에 의한 차량 크기 변화 정보를 포함하고 있다. 통상 요금소의 카메라는 요금소 상부에 설치되어 있어 그림 1과 비슷한 시각의 영상이 얻어지며 요금소 부근은 차량이 속도를 줄여야 하기 때문에 곡선은 완만하다. 하지만 그림 12에 나타낸 것과 같이 투영 변환과 차선이 직선이 아닌 영향으로 실장이 어렵다.
3차원 라벨링의 상세내용은 문헌2)에 기재되어 있다. 라벨링 결과 얻어진 3차원 궤적은 Vf(x,y,t)=n의 화소 집합이며 n은 각 차량에 배정된 라벨번호이다. 통상의 프로젝션은 수평 또는 수직으로 행해지는데 여기에서는 그림 13과 같은 길에서 가장 아래(앞쪽)의 화소에 누적되는 것으로 한다.
실험
이 방법의 유용성을 검증하기 위해서 실제 영상으로 실험을 실시했으며, 영상은 나고야 고속의 호시자키 요금소에서 촬영된 영상을 사용했다. 입력 영상 열과 각 프레임에 있어 프로젝션을 그림 14에 나타낸다. (a)는 소형차량, (b)는 대형차량(버스)의 결과를 나타낸다. 프로젝션은 차량과 카메라간의 거리에 관계없이 일정한 형태를 유지하고 있다. 이들에 대해 미리 수동으로 작성한 교사용 프로그램과 유사도를 계산하여 대형차량과 소형차량을 분류하는데 성공했다.
실험에서 요금소의 감시 카메라 영상을 3차원 라벨링 하여 프로젝션 변환하는 것으로 차종을 판별했으며 거리에 의존하지 않도록 트리와 테이블을 미리 작성해 둠으로써 차량이 요금소로부터 멀리 존재하고 있어도 안정되게 추출할 수 있었다. 이 판별은 3차원 라벨링에 의해 시계열적으로 연속된 궤적을 추출함으로써 실현할 수 있다.
이번 호에서는 고속도로 요금소에 설치된 영상센서를 이용한 교통흐름 계측에 대해서 기술했다. 시스템의 성능이 촬영한 영상의 시각에 의존하는 실용화 과제에 착안하여 처리대상의 특징을 「차선 영상」이라고 기술하는 것을 제안하고 그것을 효율적으로 이용해서 다른 설치 장소에서도 공통되게 동작하는 주행궤적 추출 시스템 구축을 시도했다. 또, 시공간 영상을 이용해서 3차원 라벨을 주행궤적으로 하는 방법 및 그 라벨 값으로부터 차선에 따른 프로젝션을 산출함으로써 소형차, 대형차의 차종을 판별하는 방법을 제안하고 실험결과를 제시했다. 앞으로의 과제로서는 야간이나 우천 시 등 여러 가지 환경 하에서 실험하는 것을 들 수 있다.
참고문헌
1) 오자와 신지: “Etc 요금소 부근에서의 차량 거동”, 2009년도 전기학회 전자·정보·시스템 부문 대회 강연논문집, No. TC7-5, pp. 174-178 (2009)
2) 아베 미치루, 오자와 신지: “특징점군 추출과 그래프 분할을 이용한 촬영환경에 러버스트한 차량추적법 (고도교통시스템(its))”, 전자정보통신학회 논문지. A, 기초·경계, 90, 1, pp.54-65 (2007-01-01)
3) 가미조 순스케, 이노우에 히로시: “시공간 MRF모델과 계층간 협조 알고리즘에 의한 차량 분할”, 전자정보통신학회·일문논문지A, Vol. J91-A, No.1, 55-67 (2008)
4) M.Molinier, T.Hame and H.Ahola: “3d-connectedcomponentsanalysis for traffic monitoring in image sequences acquired from a helicopter”, Image Analysis, Vol. 3540 of Lecture Notes in Computer Science, Springer Berlin /Heidelberg, pp. 75-82 (2005)
<글 : 시큐리티월드 편집부>
[월간 시큐리티월드 통권 제195호(sw@infothe.com)]
.png)
_m.jpg)
.jpg)
