IVS(Intelligent Vision Sensor)와 그 응용사례

인원수 측정 및 감시 시스템

Intelligent Vision Sensor：IVS는 고속인 동시에 저소비 전력으로 영상처리를 할 수 있는 시각 센서 모듈이다. 생체의 망막이 가진 우수한 영상처리 구조를 아날로그 회로로 전환한 ‘실리콘 망막 센서’와 디지털 디바이스인 ‘FPGA’를 조합한 아날로그 디지털 혼재형의 센서 모듈이다. 이 IVS는 센서 모듈 단체(單體)로, 자율적으로 영상처리에서 인식·판정까지 진행한다. 이 때문에 대규모 센서 네트워크를 구축했을 때 가장 큰 위력을 발휘하며 네트워크나 중앙의 통합기기에 부하를 주는 일 없이 자율 분산적으로 기능을 수행한다. 여기에서는 그 일례로서 인원수 측정 및 감시 시스템에 대해 사례를 들어 소개한다.

처음으로

요구 1：처리의 고속화

최근 들어 FA 시스템, 시큐리티 분야, 로봇 분야 등 많은 분야에서 영상처리 시스템이 적용되고 있지만, 보다 빠른 처리의 고속화 등 그 요구는 더욱 높아지고 있다. 이러한 고속화 요구에 대해 종래의 영상처리 시스템 방식에서는 하이 스펙의 프로세서(CPU, DSP)를 여러 개 이용하는 등의 방법으로 대응하고 있다.

이로 인해 시스템 구성이 대형·복잡화되어 대량의 전력소비를 하는데다가 비용이 높아지는 근본적인 과제가 항상 따라다닌다.

요구 2：대규모 네트워크화

고령화와 안전 신화의 붕괴로, 의료복지 시설에서의 감시나 공공시설에서의 감시 장치 등, 안심·안전을 실현하기 위한 영상처리 시스템의 인텔리전트(intelligent)화, 네트워크화가 중대하고 시급한 요구가 되고 있다. 그러나 현재로써는 네트워크 부하 문제로 인해 한정된 수의 CCD 카메라나 CMOS 카메라를 영상 입력 센서로서 배치하고 고성능 서버를 이용해 중앙집중 관리하는 시스템 밖에 개발되어 있지 않아 네트워크 상에 분산된 카메라로부터의 방대한 정보를 실시간으로 자동 처리하는 것이 어렵다.

고속이며 자율형인 IVS

IVS는 고속인 동시에 저소비 전력으로 영상처리 작업을 수행할 수 있는 시각 센서 모듈이다. 생체의 망막이 가진 우수한 영상처리 구조를 바탕으로 아날로그 저항 회로망을 갖춘 아날로그 CMOS 이미지 센서 ‘실리콘 망막 센서 칩’과 디지털 디바이스인 ‘FPGA’로 조합된 아날로그 디지털 혼재형의 센서 모듈이다. 이 IVS의 구성을 그림 1에 나타낸다.

IVS는 탑재된 ‘실리콘 망막 센서’로 실시간으로 영상 전(前) 처리가 진행되며, 내장된 ‘FPGA’로 병렬 영상처리가 가능함에 따라, 후단 처리에 유용한 특징량을 실시간으로 추출할 수 있다. 더욱이 내장된 저렴하고 저 스펙인 프로세서에 의해서 간단한 인식이나 판정까지 가능하다. 즉, IVS는 촬영에서부터 영상처리, 인식·판정까지를 센서 모듈 단계에서 자율적으로 수행할 수 있다.

대규모 센서 네트워크

앞서 기술한 대로 IVS는 자율적으로 처리하고 동작한다. 이 특징은 방대한 수의 센서 모듈을 배치 접속하여 대규모 네트워크를 구축할 때 가장 큰 위력을 발휘한다.

종래의 영상처리 네트워크 시스템과 IVS를 이용한 네트워크 시스템과의 비교를 그림 2에 나타냈다. 종래의 영상처리 시스템(그림 2(A))에서는, 각 구역에서 촬영된 영상 데이터가 모두 중앙 집중관리용 호스트 컴퓨터에 보내지며, 모든 처리는 호스트 컴퓨터로 이루어진다. 그 때문에, 호스트 컴퓨터에는 상당히 큰 계산 부하가 걸린다. 이 시스템 구성으로 실시간 영상처리를 실현하기 위해서는 CPU의 초고속화와 더불어 메모리의 대용량화가 필수이다.

또한, 방대한 영상 데이터를 네트워크를 통해 전송할 필요가 있기 때문에, 새롭게 전용 고속 네트워크를 구축해야 하는 경우가 많다. 이러한 이유로 종래의 영상처리 네트워크 시스템의 도입은 고비용임에도 불구하고, 촬영해서 모은 데이터의 간단한 검색 기능 정도에 머무르는 것이 많았다.

이에 비해 IVS를 이용한 네트워크 시스템(그림 2(B))은 촬영에서부터 판정까지의 기본적인 처리는 모두 센서 모듈 단에서 수행할 수 있다. IVS의 출력정보는 영상처리를 끝낸 상태 판정의 결과라고 할 수 있다. 예를 들면 인원수 계측 데이터나 침입자의 비상대기 정보 등이다. 따라서 네트워크를 통해 전송하는 정보량은 영상 데이터를 통신할 때에 비해 지극히 작고, 더욱이 정보를 통합하는 호스트 컴퓨터로의 처리도 지극히 작다. 게다가 통신 데이터량이 작기 때문에 휴대 단말 서비스에 대응시키는 일도 가능해진다. 또한, IVS의 출력 I/O 핀으로부터 직접 다른 기기(예를 들면 네트워크 카메라 등)를 컨트롤 하는 일도 가능해진다. 아래에 구체적인 응용사례를 소개한다.

인원수 측정 시스템

IVS가 가진 ‘고속으로 동체를 파악하는 기능’을 확장하여 사람 흐름 측정 시스템으로서 제품화했다. 화면 내의 ‘사람’의 위치 좌표를 시시각각 검출하여 ‘사람’의 이동 궤적, 즉 ‘동선’을 검지하는 센서에 응용했다. 그림 3에 인원수 계측 시스템의 구성개요를 나타낸다. 또한, 시스템의 특징을 아래에 소개한다.

자율 분산형이며 심플한 구성
민첩한 사람의 움직임도 측정 가능
높은 정확도에 낮은 비용
결과를 웹 브라우저에서 열람 가능

IVS는 센서 유닛 단에서 인원수 측정과 관련된 모든 것을 자율적으로 실시하기 때문에 시스템 구성이 심플하고 네트워크 구축이 용이하다. 또한, 센서 유닛은 측정 결과만을 전송하므로 네트워크 및 정보통합 PC의 부하도 굉장히 작다. 게다가 내장된 ‘실리콘 망막 센서’의 실시간 영상처리 덕분에 ‘민첩한 사람의 움직임’도 검지할 수 있게 된다.

현재, 인원수 측정 시스템으로 넓게 보급되는 적외선 투과 센서를 이용한 방식에서는 적외선을 통로 옆쪽으로 배치해 사람의 통과를 검지하기 때문에, ‘사람’이 중복 차폐되는 문제가 있어 측정 정확도가 낮은 편이다. 그러나 IVS를 이용한 시스템은 통로의 상공(천정)에 수직 아래 방향에 설치하기 때문에 ‘사람’의 차폐가 없고 높은 정확도로 인원수를 측정할 수 있다.

또한, 이 시스템은 IVS 내부에 간단한 웹 서버 기능을 갖추고 있어 측정 결과를 웹 브라우저로 열람할 수 있으며 모바일 단말기에서의 열람도 신속하게 가능하다.

이 시스템은 라이브러리(API)를 이용해 인원수 데이터뿐만 아니라 동선 정보도 실시간으로 취득할 수 있어 동선 해석 시스템 등으로의 응용 가능성을 가지고 있다.

도입 사례

사람 흐름 측정 시스템을 공립도서관에 도입한 사례를 소개한다. 설치 외관을 그림4(A)에 나타냈다. 돔 커버의 안쪽에 IVS를 탑재해 천정에 설치했다. 배치도를 그림 4(B)에 나타냈다. 1개의 센서 모듈로 4방향에서의 입·퇴실 정보를 측정할 수 있다. 층의 모든 출입구에 설치한 각 센서의 정보를 통합함으로써 층 내의 체류 인원수를 파악할 수도 있다.

소매점포 입구에 설치한 센서 모듈의 측정 정확도에 대한 평가 시험을 실시했다. 센서의 설치장소는 영상처리 시스템으로는 측정이 비교적 어려운 환경인 옥외광이 비추는 필드이다. 평가 결과를 그림 5에 나타냈다.

가로축에 시간을, 세로축 왼쪽으로 입점 인원수, 세로축 오른쪽으로 측정 오차를 나타냈다. 여기서 측정 오차는 실제로 입점한 고객의 인원수와 이 시스템이 계측한 인원수와의 차이다. 평가 결과는 표 1에 정리한 대로 1시간의 평가에서 측정 정확도 95.7%였다. ‘사람’이 밀착해 입점했을 경우에 오측정이 발생했다.

감시 시스템

IVS를 팬/틸트 회전 기구를 갖춘 네트워크 카메라와 결합해 자동추적 카메라 시스템에 응용했다.

그림 6에 자동추적 카메라 유닛의 개략을 나타냈다. 이 카메라 유닛은 IVS부에서 광범위한 시야 내의 이동 물체를 검지하고 이 IVS부에서 검지한 이동 물체를 CCD 카메라부에서 팬/틸트 회전하여 포착하면서 대상을 선명하게 촬영한다.

IVS에서 실시간으로 이동 물체의 위치를 검출하고 이동 물체를 포착하도록 CCD 카메라부를 추적·제어한다. CCD 카메라부의 팬/틸트 회전용 모터를 IVS에 내장하는 FPGA에서 직접 제어함으로써 신속하게 이동 물체를 추적할 수 있다.

이 시스템을 도입한 필드에서는 이러한 카메라 유닛이 ‘항상 자신을 향해 움직인다’라고 생각하기 때문에 높은 방범 효과가 있다는 것을 현장의 취재로부터 알 수 있었다. 이 감시 시스템은 필드에 이미 설치가 끝난 네트워크 카메라와 IVS를 결합함으로써 같은 기능을 실현할 수 있다.

도입 사례

그림 7에 감시 시스템의 도입사례를 나타냈다. 5층짜리 오피스 빌딩에 각 층 및 각 출입구의 합계 7곳에 카메라 유닛을 설치했다. 이 7대의 카메라 유닛을 랩톱 PC 1대로 관리한다. 동등한 기능을 종래의 영상처리 시스템 방식으로 실현하는 경우, 중앙관리용 호스트 컴퓨터는 고스펙 고비용의 장비가 필수였다. 이 시스템에서는 IVS에 의해서 이동 물체의 추적·제어를 카메라 유닛 단에서 자율적으로 실현함으로써 정보통합용 모니터 PC는 저스펙에 저렴한 제품으로 실현될 수 있었다. 그림 7(B)는 카메라 유닛의 설치 외관이다. 그림 7(C)는 각 카메라 유닛이 자율적이고 자동적으로 이동 물체를 실시간 추적한 영상을 전환하여 표시한 모니터 화면이다.

감시 시스템의 영상 출력 예를 그림 8에 나타낸다. 통상의 옥내 조명 환경 하에서 복도를 이동하는 통행인을 파악한 모습이다. 그림 8(A)가 IVS부의 출력 영상으로, 검출한 이동 물체의 위치를 흰색의 십자가 모양으로 나타내고 있다. 그림 8(B)는 이 때의 CCD 카메라부의 출력 영상이다. 이동하는 사람을 CCD 카메라의 중심에서 선명하게 파악할 수 있다.

그 외의 응용사례

점포의 고객 동선 관리 툴

앞에서 기술한 인원수 측정 시스템의 동선검지 기능을 발전시켜 시설 내의 사람 흐름이나 체류시간을 측정하는 시스템을 소개한다. 점포의 고객관리 시스템에 적용한 사례를 그림 9에 나타냈다. 이 시스템에서는 IVS를 점포 내의 층 전역을 커버하도록 여러 대 설치하여 네트워크에 접속하고 있다. 각 IVS에서는 고객의 동선 정보나 체류 정보가 출력되어 통합 PC에서 집계 처리되며, 고객의 이동 루트나 체류 분포를 해석할 수 있다. 이 해석 결과는 POS 시스템에서는 파악할 수 없었던 고객의 행동을 정량적으로 측정할 수 있다.

더욱이 복수 점포의 정보를 통합 집계함으로써, 지역마다 모든 점포에서의 고객의 판매행동을 통계적으로 수치화할 수 있다. 이 시스템은 IVS의 자립 분산처리 특징을 살린 응용사례 중 하나이다.

에스컬레이터의 감시 센서

IVS를 에스컬레이터에서의 위험행위 감시센서에 응용한 사례를 소개한다. 에스컬레이터의 승강구 부근에서 사람이 멈춰서면 뒤따라오는 인원이 갈 곳을 잃어 충돌이나 전도 등의 사고가 발생할 위험이 잠재되어 있다. 그림 10은 에스컬레이터의 내리는 곳 부근의 천정에 IVS를 설치한 사례를 나타낸다. IVS는 추출한 동선 정보로부터 ‘사람’의 행동 패턴을 해석하여 위험을 검지한다.

이 시스템에서는 U턴(①), 역주(②), 내밈(③)이나 위험 구역에서의 체류(④)의 4가지 위험을 검지한다. 또한, 위험행위뿐만 아니라 그림 중 점선으로 표시된 정상적인 사람 흐름도 측정할 수 있어 안심·안전의 실현과 마케팅 툴을 양립시킨 시스템이다.

의료복지시설에서의 감시 센서

현재 오사카 대학병원의 협력을 받아 IVS의 간호 분야에의 응용을 시도하고 있다. 그림 11에 목표로 하는 시스템의 구성도를 나타낸다.

IVS를 병실, 화장실, 위험 구역에 설치하고 환자의 전도나 위험구역에의 침입을 실시간으로 검지해 간호사 대기실이나 모바일 단말기를 이용하여 담당의사에게 연락한다. IVS가 이상상황을 검지함으로써 광범위한 감시를 실시할 수 있다. 또한, 의료 분야에서는 환자의 프라이버시 보호 관점에서 영상을 촬영해 전송·보존하는 것을 꺼려한다. 이 문제에 대해 IVS에서는 센서 내부에서 영상처리를 완료하여 센서 모듈로부터의 출력은 환자의 이상을 알리는 알람 신호뿐이다. 즉, 프라이버시를 보호하면서 감시를 실현할 수 있다.

현재 IVS를 침대나 화장실에서의 전도 검지 센서에 적용하여 필드 평가를 계속하고 있는 단계이다. 이 시스템을 실용화함으로써 간호사의 부담을 줄이고 안심·안전의 실현에 일익을 담당할 수 있다고 확신한다.

마지막으로

여기에서는 자율 분산형으로 실시간 영상처리를 함으로써 저소비 전력으로 수행 가능한 IVS 시스템의 응용사례로 인원수 계측 시스템, 감시 시스템, 고객동선 관리 툴, 엘리베이터 감시 센서를 소개했다. 향후에는 의료복지 시설에서의 감시 센서의 실용화를 강력하게 추진할 예정이다.

※감사의 말씀

실리콘 망막 센서의 기술개발에 있어서 오사카대학 대학원 공학연구과 야기 연구실로부터 많은 기술 지도를 받았기에 감사의 말씀을 전하고 싶다.

<글 : 이노우에 케이스케(Inoue keisuke), 우도노 타카츠구(Udomo Takatsuku) / 뉴럴 이미지>

3월 15일부터 시행되고 있는 개정 개인정보보호법과 관련해 가장 까다롭고 이행하기 어려운 조항은 무엇인가요?
	인공지능(AI) 등 자동화된 결정에 대한 정보주체 권리 구체화
	접근권한 관리 등 개인정보 안전성 확보조치 강화 및 고유식별정보 관리실태 정기조사
	영향평가 요약본 공개제도 도입 등 개인정보 영향평가제도
	영상정보처리기기 및 안전조치 기준
	개인정보 보호책임자의 전문성 강화 위한 전문CPO 지정
	국외 수집·이전 개인정보 처리방침 공개 등 개인정보 처리방침 평가제도
	손해배상책임 의무대상자 변경 및 확대
	공공기관 개인정보 보호수준 평가 확대
	기타(댓글로)