.jpg)
.jpg)
비전기술을 이용한 상업·마케팅 지원
이번 연구에서는 감시 카메라 등으로부터 얻은 영상 속에서 인물을 고속·로버스트하게 검출, 추적하는 기술을 소개한다. 실제 환경에서 일어날 수 있는 인물자세변화에 착안해 신체적 특징변화를 통계적으로 분석한 모델을 사용한 인물검출·추적 방법으로 말하고 점포에 있어서의 구매 행동 분석에 대한 응용을 바탕으로 한 인물검출·추적·자세추정에 대한 기술에 대해서 소개한다.
아오키 요시미쓰 │ 게이오기주쿠 대학 · 다나비키 마사모토 │ 파나소닉
공공공간이나 상업시설과 같은 실제 환경에서 실시간의 로버스트(Robust)한 인물의 행동 인식 이해는 방범이나 마케팅, 휴먼 인터페이스 등의 다양한 응용이 기대되고 있는 중요한 분야다. 이 연구를 실현하기 위해서는 실제 환경 안에서 활동하는 인물을 찾아 공간위치를 수시로 파악(추적)하면서 대상인물이 무엇을 하고 있는가, 어떤 상태인가를 추정해 행동을 이해하는 것이 요구된다. 이러한 기능의 실현에 있어서 특히 CCTV를 이용한 시스템은 비접촉이며 광범위한 센싱이 가능해서 인물의 검출, 추적, 행동 이해에 관한 다양한 연구가 활발하게 이루어지고 있다1). 인물을 대상으로 한 행동 인식·이해에 있어서 조명 변동으로 대표되는 환경변동 요인이나 인물의 체형과 복장에 기인하는 외양의 다양성에 대하여 어떻게 실용에 견딜 수 있는 로버스트 성을 확보할 것인가가 큰 과제가 되고 있다.
통계적 모델을 사용한 인물검출·추적
행동 인식에서는 이미지 안의 인물을 검출해 추적하면서 그 인물의 상태를 시계열로 분석한다. 그러나 시간의 경과와 함께 변화하는 대상물체의 추적은 곤란해서 지금까지 다양한 방법이 제안되어 왔다. 조명 변동이나 외양의 변화에게 대응하기 위해서 색 히스토그램으로 대상을 모델링 하는 방법2)이 있다.
색 히스토그램에 의한 표현에서는 부분적인 차폐에 강건하고 대상의 회전이나 스케일 변화의 영향을 받기 어려운데 복수의 유사한 물체가 존재하면 쉽게 잘못 추적해버린다. 그래서 운동 모델에 의한 대상의 움직임의 예측과 우도(尤度) 평가를 반복하는 파티클 필터를 사용해서 복잡한 상황에서 안정적으로 추적하는 방법3)도 있다. 파티클 필터에서는 대상영역에서 계산되는 우도(尤度) 분포를 랜덤 샘플링 함으로써 효율적으로 상태공간을 탐색할 수 있다.
Okuma 등4)은 대상을 상반신과 하반신으로 분할해 보다 상세하게 모델링하는 것으로 외양의 변화에 대응하고 있다. 이 방법을 사용함으로써 감시 카메라 영상에서 복수의 인물이 오고 가는 장면에 있어서도 인물추적이 가능하게 되었다5). 그러나 이 방법은 모두 보행중 혹은 직립 상태의 추적을 대상으로 하고 있다. 따라서 ‘앉다’, ‘앞으로 웅크리다’ 등의 장면에서 빈출하는 여러 자세변동이 일어났을 때에 추적 정밀도가 크게 저하된다. 또, 인물영역을 직사각형으로 포착하기 때문에 대상의 스케일이나 위치 정보밖에 취득할 수 없다.
이에 대해서 필자는 자세변동에 따른 신체적 특징변화에게 주목해 그 변화를 통계적으로 모델링함으로써 부분적인 차폐뿐만 아니라 자세변동에도 대응 가능한 인물검출·추적 방법을 제안하고 있다6). 여기에서의 ‘신체적 특징변화’란 대상의 바깥윤곽형상이나 각 부위의 외양의 변화를 말한다. 다양한 자세에 대한 신체적 특징변화의 통계적인 분석에 의해 저차원 인체형상 모델을 생성한다.
이 인체형상 모델은 자세변동에 대한 각 부위의 외양 변화를 효율적으로 표현하고 있어 종래의 직사각형 베이스의 추적에서는 다 포착할 수 없었던 다양한 자세의 인물에 대해서도 유연하게 대응할 수 있다. 색이나 에지와 같은 간단한 특징량으로 최적의 모델을 추적 피팅함으로서 고속·고정밀도의 인물추적이 가능하게 된다. 신체특징변화를 통계적으로 분석한 모델을 인물추적뿐만 아니라 인물검출에도 적용시킨 새로운 틀의 인물추적 시스템을 제안한다. 이번 연구에서는 부분적인 차폐나 자세변동에 대응할 뿐만 아니라 추적에 의해 추정된 신체적 특징변화에서 대상의 부위 형상 등보다 상세한 정보가 취득 가능해 행동 인식에 적합한 인물추적이 되고 있다.
두부(頭部) 윤곽 형상 모델을 사용한 인물검출
일반적으로 이미지 안에서의 인물 검출은 이미지특징추출과 기계학습에 의해 이루어지고 있다. 먼저 학습용으로 준비한 검출 대상이 되는 이미지와 배경이미지로부터 휘도 값의 차이나 휘도 구배 등의 정보를 특징량으로서 추출한다. 다음에 기계학습에 의해 정답과 오답의 라벨이 달린 이 특징량을 특징 공간 내에서 잘 식별할 수 있을 것 같은 식별기를 생성한다.
이 식별기를 검출하고 싶은 이미지에 주사하는 것으로 인물을 검출한다. 그러나 다양한 외양의 베리에이션이 있는 대상을 충분히 학습하기 위해서는 대량의 학습 이미지가 필요하게 된다. 또, 보다 상세하게 대상의 형상을 표현하려고 하면 할수록 보다 고차원의 특징량이 필요하게 되어 고정밀도의 식별기를 생성하기 위한 기계학습에는 상당한 계산 비용이 든다.
여기에서는 자세변동에 따른 두부 바깥윤곽 형상변화와 두부·어깨의 상대위치 관계를 주성분 분석에 의해 저차원 모델(Active Ω Model : AOM)로 표현, 실제 이미지로부터 얻게 되는 이미지 특징량(에지와 실루엣)으로 피팅하는 것으로 인물을 검출한다.
.jpg)
먼저 그림 1과 같은 여러 다른 인물의 두부 이미지에 대해 얼굴위치를 중심으로 두부에서부터 어깨에 걸친 바깥 윤곽형상과 양쪽어깨의 관절위치를 합계 22개의 점군으로 표현한다. 22점의 x, y좌표에서 얻게 되는 44차원의 두부 바깥 윤곽형상 데이터를 주성분 분석한다. 이것에 의해 저차원에서 방향이나 자세에 의한 두부 바깥윤곽형상의 변화를 표현할 수 있고 거기에 대응해서 어깨위치가 이동하는 모델이 된다.
154개의 두부 바깥윤곽형상 데이터에 대해서 주성분 분석을 하는 것으로 4차원으로 압축했다. 이 주성분분석의 부분 공간을 파라미터로 하는 모델을 AOM으로 했다. 이미지 상에서 최적의 AOM을 탐색하는 것으로 어깨위치를 추정한다. 탐색에는 파티클 필터를 사용했다. 이 인물 검출의 단계에서 대상이 사람인 것뿐만 아니라 두부 바깥윤곽형상, 좌우의 어깨위치, 몸의 방향도 포함한 행동 인식에 유익한 정보를 얻을 수 있는 것이 큰 특징이다.
자세 변동·차폐에 강건한 인물추적
인물추적에서는 부분적인 차폐나 자세변동에 대응하기 위해서 대상인물을 5개의 기간부위영역(두부, 상반신×2, 하반신×2)으로 분할해서 추적한다. 그러나 각 부위가 이미지 상에서 어느 위치에 있을지를 추정하기 위해서 각 부위를 독립적으로 탐색하면 추적하는 부위 수에 대해 지수함수적으로 탐색 공간이 증대한다. 그래서 부위간의 구속 조건으로 ‘인간적인 연결’을 고려한 기간 링크 모델을 사용한다. 그림 2와 같이 인간은 여러 자세를 취했을 때의 기간부위 위치는 골격이나 중심 밸런스 등의 구속 조건을 따라서 변위하고 동시에 부위의 외양도 변화한다. 그 상관관계를 저차원에서 표현하기 위해서 AOM과 동일하게 주성분분석을 사용했다.
기간 링크 모델에서는 그림 2와 같이 각 부위를 표현하는 파라미터로서 위치·폭·높이·각도의 5차원을 사용한다. 따라서 하나의 자세 데이터는 5부위×5차원의 25차원 데이터로 표현된다. 다양한 자세변동을 포함하는 92개의 자세 데이터에 대해서 주성분분석을 하는 것으로 3차원으로 압축한 기간 링크 모델을 생성했다.
AOM에 의한 두부검출과 동일하게 기간 링크 모델을 사용해서 파티클 필터로 기간부위추적을 한다. 추정하는 상태공간이나 시스템 모델은 동일하다. 우도(尤度)는 추적 초기화시에 취득한 추적 대상의 색 히스토그램과 매 프레임에서 얻게 되는 색 히스토그램을 평가한다(그림 3).
.jpg)
기간부위 추적에서는 각 부위의 우도(尤度)를 독립적으로 계산하기 때문에 부분적인 차폐에 대해서 전체 우도(尤度)가 저하되는 일 없이 안정된 평가가 가능하게 된다. 또, 기간 링크 모델을 이용함으로써 자세 변동시에도 유연하게 각 부위의 위치나 형상을 표현가능하다. 이것에 의해 복잡한 환경에서도 강건한 추적이 된다.
또한, 두부 바깥윤곽 형상추정과 기간부위 추적을 통합한 인물추적에 대해서 알아보자. AOM과 기간 링크 모델에서는 각각 주성분 분석의 부분 공간으로서 ‘인간과 같다’는 형상을 표현하는 저차원 공간을 가지고 있다. AOM과 기간 링크 모델의 양쪽을 파라미터로 하는 새로운 공간을 생각한다. 이 공간 내에서의 어느 점은 자세변동에 의한 기간부위의 위치 관계와 두부 바깥윤곽 형상을 표현하고 있으며 이 공간을 상태변수로 해서 파티클 필터로 최대 우도(尤度)값을 탐색한다. 우도(尤度) 계산에는 기간부위 영역은 초기화시에 취득한 모델 이미지와의 색 히스토그램 유사도를, 두부 바깥윤곽 형상은 배경차분(差分)의 실루엣과 휘도구배방향의 일치도를 이용해서 평가하고 있다. Ω추적과 기간부위추적의 처리를 통합해서 동시에 기간부위위치와 두부 바깥윤곽형상을 최적화함으로써 추적 대상을 보다 강건하게 포착할 수 있다.
.jpg)
그림 4는 여러 상황에 있어서의 인물검출, 추적 결과를 나타내고 있다. 부분적인 차폐나 자세변동에 대해서 인체형상 저차원 모델을 사용해서 두부나 기간부위를 유연한 동시에 완건하게 포착하고 에지나 실루엣, 색에 의한 고정밀도의 우도(尤度) 평가에 의해 고정밀도로 추적할 수 있는 것을 알 수 있다.
자세 추정 기술
추적 시에 얻은 어깨위치를 기준으로 해서 팔과 같은 스케일의 에지 페어 특징량을 산출해 사전에 준비한 모델과 대조를 함으로써 행동 이해에 중요한 팔부분의 자세를 추정한다.
팔 부분 특징량 추출
추정된 어깨위치를 기초로 팔의 존재 후보위치를 추정하고 어깨위치 주변에서 팔의 존재 후보위치의 분포를 나타내는 팔 부분 특징량을 작성한다. 이번 연구에서 팔은 이미지 위의 2개의 평행한 직선이면 근사하고 그림 5에 나타내는 것과 같은 구배방향별의 직사각형 필터(에지 페어 추출 직사각형 필터)를 사용해 구배방향이 동일한 에지가 연속되는 영역을 추출해 그림 6에 나타내는 8방향으로 양자화한 방향별 에지 이미지(공산 맵 이미지)를 작성한다7).
.jpg)
.jpg)
다음에 우도(尤度)맵 이미지에 대해서 어깨위치 주변의 우도(尤度) 분포를 나타내는 팔 부분 특징량을 작성한다. 어깨위치를 중심으로 반경방향에 2개, 회전 방향에 8개의 합계 16개의 소영역으로 분할한다. 이 때 반경방향의 길이는 앞에서 나타낸 AOM에 의한 어깨위치 추정으로 얻은 두부의 크기를 기준으로 표준적인 인체치수에서 구한 비에 의해 상완(上腕) 영역의 길이, 전완(前腕)영역의 길이를 결정한다. 각 소영역에 있어서 빈에 포함되는 화소의 우도(尤度) 값을 구배방향별로 누적한 히스토그램을 작성해서 모든 병의 히스토그램을 통합한 것을 특징량(팔 부분 특징량)이라 한다. 오른쪽 어깨 위치와 왼쪽 어깨 위치를 중심으로 해서 팔 부분 특징량을 작성하므로 16병×8방향×2=256차원의 특징량이 된다.
모델 대조
팔 부분 특징량을 사용해서 사전에 작성한 골격 모델과 매칭시킴으로써 대상인물의 3차원자세를 추정한다. 골격 모델은 모션캡쳐 시스템을 이용해서 미리 취득한 여러 자세에 대한 인체의 3차원정보를 보유한 데이터이다. 어떤 골격 모델에 대해 3D캐릭터 작성 소프트웨어를 사용해서 모델을 중심으로 시점의 앙각(仰角)과 회전각을 변화시킨 사영 이미지를 출력한다. 그림 7에 나타내는 것과 같이 모든 사영 이미지에 대해서 몸의 방향과 대략적인 자세로 분류해 둔다. 대조시에는 이렇게 분류된 자세 모델 데이터베이스로부터 방향과 대략적인 자세가 일치하는 자세로 탐색 범위를 좁히고 사영 이미지로부터 작성한 팔 부분 특징량을 사용해서 대조 처리를 한다.
상품취득 자세를 추정할 경우 팔을 펼쳐 상품을 취득하는 자세(이하, 종단자세)와 팔을 접어서 상품을 눈앞에서 확인하고 있는 듯한 자세(이하, 중간자세)가 연속적으로 나타난다. 특히 중간 자세에 있어서는 팔이 동체와 겹쳐 팔 영역의 노출도가 낮아지기 때문에 팔의 자세를 정확하게 나타내는 에지 페어 특징량의 추출이 곤란하게 된다. 그래서 팔의 앞쪽 끝인 팔 끝 위치를 에지 페어 영역에서 검출하여 팔 끝 위치의 인체기간부위로 부터의 거리를 토대로 노출도를 산출한다. 또, 노출도에 근거해서 모델 대조의 후보를 좁힌다. 본방식의 유효성을 나타내기 위해서 실제로 점포환경에서 상품을 취득하는 자세를 반복하는 영상을 이용해서 자세추정의 평가 실험을 했다.
그림 8에 종단자세와 중간 자세를 추정한 예를 나타낸다. 직립에 가까운 자세뿐만 아니라 전경(前傾) 자세에 있어서도 팔을 펼치는 자세의 추정을 할 수 있다는 것을 알 수 있다. 또, 팔을 접은 중간 자세에 있어서 완전 일치하는 자세는 아니지만 유사한 자세를 추정할 수 있다는 것을 알 수 있다.
동작분석
인물의 3차원 자세를 추정해 3차원 자세의 시간적인 변화로부터 인물의 동작을 추정한 예를 그림 9에 나타낸다. 그림 9의 이미지 하부에 구매동작 인식결과를 나타낸다. 인식하는 구매동작은 팔을 펴는 동작 및 팔을 굽히는 동작이다. 구매동작 인식에서는 팔을 펴거나 혹은 굽히는 동작에 속하는 자세가 추정 자세동작 판정을 위한 역치이상 나타났을 때에 그 자세가 속한 동작을 했다고 판정한다. 제안 방식을 이용한 자세추정 결과에 의해 팔을 펴거나 혹은 굽히는 동작을 판정해서 구매 동작 인식을 실현할 수 있는 것을 알 수 있다.
인간 행동을 바탕으로 한 인물검출과 추적
감시 카메라 등으로부터 얻은 영상 안에서 인물을 고속·로버스트하게 검출, 추적하는 기술에 대해 이야기를 해봤다. 특히, 실제 환경에서 일어날 수 있는 인물자세 변화에 착안해 신체적 특징변화를 통계적으로 분석한 모델을 사용한 인물검출·추적 방법에 대해서 말하고 점포에 있어서의 구매 행동 분석에 대한 응용을 바탕으로 한 인물검출·추적·자세추정에 대한기술에 대해서 소개했다. 앞으로는 환경이나 물체와 사람과의 상호작용, 인간끼리의 상호작용의 분석 등 상세한 이미지 인식·이해를 실현한 다음 사람의 행동 의도 추정, 감정 추정 등 더 깊은 인간행동의 이해를 목표로 한다.
참고문헌
1)T.B.Moeslund，A.Hilton，V.Kruger, L.Sigal，“VisualAnalysis of Humans：Looking at People”，SpringerEdition （2011）
2)K.Nummiaro, E.Koller-Meier, L.Van Gool，“An AdaptiveColor-Based Particle Filter”，Image and VisionComputing, Vol.21, No.1, pp.99-110 （2003）
3)M.Isard and A.Blake，“CONDENSATION-Conditional DensityPropagation for Visual Track- ing”，InternationalJournal of Computer Vision, Vol.29, No.1, pp.5-28 （1998）
4)K.Okuma, A.Taleghani, N.De Freitas, et al.，“A boostedparticle filter: Multitarget detection and tracking”，ECCV2004,Vol.3021, pp.28-39 （2004）
5)H.Palaio, J.Bastista，“Multi-Object Tracking Usingan Adaptive Transition Model Particle Filter withRegion Covariance Data Association”，Proceedings ofInternational Conference on Pattern Recognition 2008,pp.1-4 （2008）
6)하시모토 기요시 가가야 도모유키·외, “자세변동에 따른 신체특징변화의 통계적 모델링에 의한 차폐로 강건한 인물추적”, 비전 기술의 실제 이용 워크숍(ViEW2011), B-3O (2011)
7)가가야 도모유키, 하시모토기요시·외,“에지 페어 국소특징량을 사용한 모델 대조에 의한 단안 카메라 영상에서의 인물 3차원 자세추정”, 비전 기술의 실제 이용 워크숍(ViEW2011), I1-25(2011)
[월간 시큐리티월드 통권 제208호(sw@infothe.com)]
[2024-05-16] 
.jpg)
