Object Tracking from Laser Scanned Dataset

Object TrackingObject Tracking from Laser Scanned Dataset

Md. Haidar Sharif1, HarisuAbdullahi Shehu2, Feyza Galip3, Ibrahim Furkan Ince4, Huseyin Kusetogullari5

Abstrat

Laser 센서는 카메라 센서보다 빠른 데이터 처리 속도 그리고 사생활 보호의 문제에서 좋은 이점을 가지고 있습니다. 또한, 여러 레이저 센서들을 합치면 넓은 범위의 스캔 범위를 가질 수 있고, 낮은 데이터 처리 비용과 빠른 작업 처리로 인해 시스템 상에 큰 무리 없이 수 있습니다. 게다가 실제로 빠르게 이동하는 물체를 더 빠르고 쉽게 알 수 있습니다. 결과론적으로 레이저 스캐너가 있는 시스템은 카메라보다 더 편리하고 효과적입니다. 이 논문에서는 레이저 스캔만으로 취득한 데이터셋 기반으로 물체를 추적하는 접근 방식을 제안합니다.

Introduction

현재까지 많은 알고리즘들이 다양한 레이저 스캐너로 얻은 데이터 세트에서 보행자 또는 차량의 궤적을 얻기 위해 제안되고 있습니다. 하지만 방대한 양의 데이터 연산 처리와 다양한 알고리즘들의 가정으로 인해 기존의 알고리즘들은 완성도가 많이 낮았습니다. 본 논문에서는 효율적인 교통 분석을 위해 보행자와 차량 모두의 움직임을 추적하는 새로운 접근 방식을 제안합니다.

간단하게 순서대로 보시면 먼저 레이저 센서를 통하여 데이터들을 취득한 후 데이터들을 비디오 프레임으로 변환하여 시각화를 시킵니다. 그리고 고정된 레이저 포인트들과 움직이는 레이저 포인트에 대해 분리를 하고 하나하나의 군집을 이루는 레이저 포인트들을 블롭으로 구성합니다. 움직이지 않는 고정된 블롭은 제거하고 계속해서 움직이는 블롭 데이터들은 유지합니다. 그렇게 움직이는 블롭들에 대해서 사전에 보행자와 차량에 대해 학습을 시킨 서포터 벡터 머신에 집어넣어 블롭 별 분류를 진행합니다. 분류된 블롭 별로 헝가리안 방법과 칼만 필터를 적용하여 객체의 trajectory를 가져옵니다. 간단하게 프레임워크에 대해 소개를 했는데 이제 조금 더 디테일하게 설명드리겠습니다.

Implementation steps

1. Collection of data points

먼저 데이터를 취득하는 부분입니다. 본 논문의 저자는 SICK AG사에서 만든 SOPAS 엔지니어링 툴을 사용하여 데이터 스트림(거리와 각도에 대한 데이터)들을 가져올 수 있었고, 이후 거리에 대한 데이터로 그림 3과 같이 2D X-Y 좌표로 변환할 수 있었습니다. 그림 2에 오른쪽 부분을 보시면 지상으로부터 약 5cm 떨어져 있는 레이저 스캐너는 0.25도 간격으로 레이저를 보내며 지상에서 5cm 떨어진 한 층 영역을 스캔을 합니다. 그림 2에 주황색 원으로 표시된 부분은 보행자인데 보행자의 블롭의 크기는 매우 작다는 것을 알 수 있습니다. 반면 초록색 원으로 표시된 차량들의 블롭의 크기는 매우 크다는 것을 알 수 있었습니다. 이제 취득한 데이터를 바탕으로 recognition을 어떻게 했는지 다뤄보겠습니다.

2. Recognition of moving and fixed blobs

위 그림 3에서 수집한 데이터 포인트는 정지한 물체와 움직이는 물체들로 혼합되어 구성되어 있습니다. 이제 움직임이 없는 블롭은 제거하고 움직이는 블롭에 대한 데이터만을 유지해야 하는데 움직이거나 고정되어 있는 블롭에 대한 recognition으로 레이저의 각도로 히스토그램을 만들고 일정 시간 동안 물체의 레이저 각도는 변하지 않고 일정한 값을 유지하는 반면 움직이는 물체는 레이저 각도가 변하며 일정 임계값을 넘어가는 블롭에 대해서는 움직이는 블롭으로 구별을 하였습니다. 그림 4는recognition 결과로 움직이는 블롭들은 빨간색으로 고정되어 있는 블롭은 파란색으로 표시됨을 알 수 있습니다.

3. Estimation of moving blobs

고정된 물체와 움직이는 물체에 대한 구별이 되어 보다 그림 5처럼 움직이는 물체에 대해서만 나타낼 수 있습니다. 도로에는 주로 보행자와 차량이라는 두 가지 유형의 물체가 있습니다. 이때 움직이는 블롭들을 적절하게 차량인지 보행자인지에 대해 분류를 해야 하는 게 중요한데 서포터 벡터 머신을 사용하여 분류하였습니다.

4. Type of blob recognition using SVM

SVM은 generalization error를 최소화하는 학습 시스템 접근 방식입니다. SVM의 원리를 간단하게 설명하자면 하이 피쳐 디멘젼 스페이스에서 데이터 지점 간에 다양한 클래스들을 최적화 분리를 하는 하이퍼 플레인을 찾는 과정입니다. 이때 경계를 정의하는 데이터들의 요소를 서포터 벡터라고 부르고 이 논문에서 소개하는 클래스는 보행자냐 차량이냐로 나누어지고 그 둘을 나누는 학습 데이터로 1,2번째 행렬로 차량과 보행자로 학습을 시키고 테스트 데이터로 3, 4번째 행렬을 집어넣어 테스트를 진행합니다. 테스트에 대한 SVM의 출력으로 현재 입력된 레이저 데이터 즉, 블롭이 보행자인지 차량인지를 구별해줍니다.

5. Tracking each type of object

블롭들을 클래스 별로 구별을 한 뒤에는 매 프레임에 따라 블롭의 궤적을 추적하는 것도 중요합니다. 이 논문의 저자들은 A novel approach to obtain trajectories of targets from laser scanned datasets이라는 논문에서 [이 논문의 46번째 레퍼런스] 저자들이
소개한 헝가리 방법과 Kalman 필터를 사용하여 시간이 지남에 따라 각각의 블롭을 추적하는 방법을 사용하였습니다. 위 사진은 해당 논문에서 발췌한 내용입니다. 위 사진은 움직이는 객체에 대해 블롭 형태로 구성된 상태입니다. 그림에서의 블롭의 갯수는 3개이고 측정된 블롭의 위치는 r1, r2, r3 예측한 블롭의 위치는 e1, e2, e3, e4입니다.측정된 블롭들의 위치와 가장 인접한 블롭의 예측 위치를 구하고 측정값과 예측값에 대한 오차율을 구합니다. 각각의 오차율들이 일정 임계값을 넘겨버리면 그 블롭은 추적 대상에서 제외시켜 버리고 새로운 r3를 기준으로 새로운 trajectory를 구합니다.

Experimental results

1. Data & parameters

먼저 실험에 사용한 데이터 세트는 총 550개의 실제 이미지로 구성하였습니다. 데이터는 LMS-511과 LD-MRS를 사용하여 취득하였고, 258명의 보행자와 292대의 차량의 데이터로 구성되었습니다. 이 중에 보행자 25명과 차량 25대를 무작위로 선정하여 학습을 시키고 나머지는 테스트에 사용하였습니다.

2. Trajectories of Objects

실제 테스트 결과 위 그림 7처럼 실제 물체에 대한 추적 결과를 볼 수 있었습니다. 빨간색과 흰색원은 각 물체의 중심을 나타냅니다. 위 그림을 통해 이 실험의 보행자와 차량 둘 다 제대로 추적됨을 수 있었습니다.

3. Comparative study of errors

실제로 본 논문의 저자들의 소개한 기술은 기존의 칼만 필터와 헝가리안 알고리즘만을 사용한 방법에서 보행자와 차량의 예측 오차율이 서포터 벡터 머신을 추가한 칼만 필터와헝가리안 알고리즘 방법에서 차량 예측 오차율이 더 낮아짐을 알 수 있었습니다.

Conclusion

본 논문에서는 레이저 스캔 데이터 세트 기반으로 움직이는 물체를 추적하는 효율적인 접근 방식을 제안했습니다. SVM을 사용하여 정확한 클래스를 분별한 블롭들을 추출한 다음 헝가리안 알고리즘과 칼만 필터를 사용하여 물체의 완벽한 궤적을 얻었습니다. SVM을 더한 헝가리안 알고리즘과 칼만 필터를 사용한 물체 추적 방법은 기존의 헝가리안 알고리즘과 칼만 필터를 사용한 물체 추적 방법보다 좋은 성능을 보였습니다. 하지만 기존의 칼만 필터를 활용한 방법은 비선형 모델에 대해 적합하지 않고, 센서의 불확실성으로 인해 성능이 급격히 감소할 수 있습니다. 이후 비선형 모델에 좋은 파티클 필터를 활용한 서포터 벡터 머신과 헝가리안 방법을 고려하여 현재 접근 방식을 수정한 다음 결과를 비교할 예정입니다.

Reference

1. Object Tracking from Laser Scanned Dataset
2. A novel approach to obtain trajectories of targets from laser scanned datasets