ICT 기반의 군중 밀집도 감시 및 위험 행동 인식 기술 동

 

ITFIND 주간기술동향 2129호

 

본 내용의 경우 IITP의 주간기술동향에 대해서 요약한 내용으로 원문은 아래의 링크를 참고 부탁드립니다.

https://www.itfind.or.kr/streamdocs/view/sd;streamdocsId=SOKmHGjq3srwF3h_7WMNCOyHhddPJrfvscdrEjXEqKM

 

발행일: 2024-04-10

 

 

서론

군중 밀집으로 인한 사고들은 예측하지 못한 규모의  군중 운집, 탈출구 부재, 진입 제한 부재 그리고 군중 밀집도 및 위험 행동 관리의 부재로 인해 발생하였다. 위의 원인들 중에서 군중 밀집도 관리와 군중의 위험 행동 관리를 묶어서 군중 관리라 하는데, 대부분의 사고가 군중 관리의 부재로 인해 발생하였다. 

 

군중 밀집도는 일반적으로 단위 제곱미터 당 사람 수로 결정된다. 만일, 임의의 지역에서 군중 밀집도가 8에서 10이되면, 해당 군중은 자신의 의지와 상관없이 떠밀려 움직이게 된다. 따라서, 군중이 운집하는 장소에서 ICT 기반의 기술을 통해 군중 밀집도를 신속하게 탐지하고, 군중 밀집도가 높아지는 경우에 질서 유지 인력을 신속히 투입하여 밀집도를 분산시키는 것이 반드시 필요하다.

 

본 내용에서는 ICT 기술을 활용하여 군중 밀집도를 감시하는 기술들과 군중 내 특정 그룹의 위험 행동을 인식하는 기술들을 살펴본다

 

 

군중 밀집도 감시 기술 개발 동향

1. "Stampede Events and Strategies for Crowd Management" 논문

 

군중의 밀집에 따른 압사 사고의 위험 요소를 실내와 실외로 구분하여 제시하였다. 실내의 경우에 해당 영역 내의 인원수, 영역 내 체류시간, 보행속도, 군중 압력을 압사 사고의 위험 요소들로 정의하였다.

 

두번째, 실외의 경우에는 방화, 메카 순례, 테러와 같은 인간적인 요소, 홍수나 지진과 같은 자연재해 요소 그리고 구조물 붕괴와 같은 시설 위험 요소를 식별하였다

 

위험 측정을 위한 지표로서 군중 밀집도와 흐름 공계수를 정의하였다. 흐름 공계수는 1미터 폭의 출입구를 통과하는 사람 수를 의미한다. 또한 저자들은 Simulex로 시뮬레이션을 수행하여 군중 밀집도와 흐름 공계수를 측정하였다. 이 결과를 보면, 실내 압사 사고를 예방하기 위해 군중 밀집도는 4 이하가 되어야 하며, 흐름 공계수는 1 이하가 되는 것이 적합하였다.

또한, 노령층이 군중에 포함되어 있는 경우 이동시간이 지체되고, 이로 인해 아래 그림처럼 출입구에서 압사 사고가 발생할 확률이 크게 증가함을 보였다

 

군중의 25%가 노년층인 경우 탈출 안전 시간(8분) 후의 출입구 상황 시뮬레이

 

 

2. "Review of analyses on crowd-gathering risk and its evaluation methods" 논문

 

군중 밀집의 위험을 관리하기 위함 절차로서 위험 진화 과정 분석, 위험 모니터링, 위험 평가 방법을 정의 하였다

 

먼저, 위험이 진화하는 과정을 제시하였고, 이 과정의 분석을 통해 군중 밀집의 위험 요소들을 밀집도, 속도, 압력 그리고 기타 요소들로 식별하였다

 

둘째, 위험을 모니터링하는 기존의 방법들을 분석하여 특성 기반으로 분류하고, 미래에 이들을 고도화하여 성능을 높이기 위한 방법으로써 아래 그림과 같이 환경 및 건물 구조 모니터링의 융합 그리고 다중 센서 융합 및 다중 플랫폼 융합을 제안하였다

 

군중 밀집도 모니터링 방법들과 미래 발전 방향

 

 

영상 및 비영상 기반의 군중 밀집도 감시 기술

 

1. "Stampede Events and Strategies for Crowd Management" 논문

 

CCTV 영상에서 인물을 추출하고 추적한 뒤에 추적한 인물들을 건물 실내 지도에 사상시켜서 밀집도 지도를 만드는 방법에 대해 제안하였다. 밀집도 지도는 밀집도에 따라 하얀색, 파란색, 녹색, 노란색, 빨간색 순서로 변화된다. 또한, 시공간 데이터 집합에 대해 그래프를 생성하여 밀집도 지도를 작성하면, 군중의 이동 흐름을 파악하고 밀집도의 변화를 근접하게 예측할 수 있음을 보여준다

 

CCTV 영상과 건물 지도를 활용한 밀집도 맵 작성 과정

 

2. "Review of analyses on crowd-gathering risk and its evaluation methods" 논문

 

사람들이 많이 모이는 장소에 입장하는 사람들에게 무선 통신 장치를 소지하게 하고, 그들이 일정 시간 동안 근접성을 유지하면 그들이 소지한 무선 통신 장치 의 ID들을 파악하고 알람 메시지를 전송하는 방법을 제안하였다

 

1. 먼저 CCTV 영상을 통해 사람들과 그들 간의 거리를 감지2. 그 거리라 일정 시간 동안 임계치 이하이면 이를 서버에 알림3. 서버는 사람들이 모여있는 곳에 근접한 마커에 이를 알림4. 마커는 주변의 무선 통신 장치들의 ID와 그들과의 거리를 파악하여 서버에 전송5. 서버는 이를 통해 마커 주변의 무선 장치 소유자들에게 안전거리를 유지하도록 휴대폰 경고 메시지 전송

 

해당 방법은 원래 팬데믹 시기에 사람들 사이에 사회적 거리를 유지하기 위한 방법으로 재안되엇으나, 사용자들이 시스템이 동작하는 장소에 입장하기 전에 자신의 휴대폰 전화번호를 알려주고 무선 통신 장치를 배부 받아서 상시적으로 소지해야 한다는 문제점이 있다

 

CCTV 영상과 무선 통신을 활용한 밀집도 완화 방법

 

3. "Ultra Large-Scale Crowd Monitoring System Architecture and Design Issues" 논문

 

군중 밀집도 측정을 위해 CCTV 및 적외선 영상, 무인기 편대 그리고 센서 네트워크를 같이 이용하는 프레임 워크를 제안하였다. 아래 그림과 같이 CCTV 및 적외선 영상, 무인기 편대, 센서 네트워크를 같이 이용하는 군중 밀집도 측정 프레임워크이다. 이 논문의 실험 결과는 CCTV와 무인기 편대만을 이용하여 수행되었고, CCTV 영상만을 이용하는 방법에 비해 성능을 얼마나 향상시키는지 제시되지는 않았다

 

카메라 영상, UAV 편대, 센서 네트워크를 이용하여 군중 밀집도 측정 프레임워크

 

 

4. "Device-Free Indoor Counting Using Wi-Fi Channel State Information for Internet of Things" 논문

 

실내에 wifi 신호 송신기와 수신기를 하나씩 배치하고 수신기에서 수신된 신호의 CSI (Channel State Information)를 수집한 뒤에 수집한 신호들을 심층 신경망으로 학습하여 0에서 9명까지의 실내 인원을 계수할 수 잇는 시스템을 제안하였다. 제안된 방법은 밀집 신경망을 사용하였으며, 최대 9명까지를 88%의 정확도로 구분할 수 있음을 보여주었다

 

아래 그림은 시스템이 4명까지의 실내 인원을 구분하는 CSI진폭 그래프이다. 그러나 이 방법은 실내에서만 사용이 가능하고, 사람 사이의 간격이 최소 1미터 이상일 경우에만 동작하는 문제점이 있다

 

실내 인원수 계수에 사용된 wifi 신호의 CSI 정보

 

 

군중 내 특정 그룹의 위험 행동 인식 기술

 

1. "Environment and Person Independent Activity Recognition With Commodity" 논문

 

실내에서 송출된 wifi 신호가 인체에 반사되어 수신기에 전달될때, 수신측에서 전달된 신호의 도플러 변이를 측정하여 그 사람의 행위를 인식하는 방법을 제안하였다

 

이 방법은 먼서 수신된 도플러 변이를 이미지로 바꾼 후에 세 갈래의 합성곱 신경망 체인을 통과시켜 나온 출력들을 하나로 통합한다. 이후에, 통합된 출력을 평탄화시키고 밀집 신경망을 통과시켜서 5가지 행위에 대한 벡터를 출력한다

 

수신측에 안테나가 다수인 경우에, 각각의 수신 신호에 대해 위의 과정을 반복하면, 안테나 수만큼의 행위 벡터가 생성되고 이를 집약하면 하나의 행위 레이블을 추출할 수 있다. 집약하는 방법은 각 행위 벡터의 출력들에서 다수결로 결정하거나 행위 벡터들의 값들을 요소별로 더하고 가장 큰 요소값을 행위 레이블로 결정한다

 

그러나 이 방법은 실내에서만 적용이 가능하고, 행동 인식의 범위가 한 사람으로 제한된다는 단점이 있다

 

wifi 수신 신호의 도플러 변이를 활용한 실내 행위 인식 방법

 

 

2. "Behavior Analysis-Based IoT Services For Crowd Management" 논문

 

이 논문은 메카순례와 같은 대규모 군중이 밀집하는 상황에서 CCTV 영상을 통해 얻어진 이미지들의 옵티칼 플로우를 추출하고 위험 행동을 인식하는 방법을 제안하였다

 

이 방법은 먼저 이미지에서 군중의 옵티칼 플로우를 추출하고 이들의 오차를 제거한다. 다음으로, 군중의 옵티칼 플로우들을 크기에 따라 k-means 클러스터링 기법을 통해 분류한다. 마지막으로, 군중 내에서 임계치를 넘어서는 옵티칼 플로우를 가지는 사람들을 적색으로 나머지는 녹색으로 표시하여 위험 행동을 인식한다

 

3. "Group Behavior Pattern Recognition Algorithm Based on Spatio-Temporal Graph Convolutional Networks" 논문

 

해당 논문은 시공간 그래프 합성곱 신경망에 기반한 그룹 행동 인식 알고리즘을 제안하였다

 

이 방법은 먼저 영상의 프레임 내에서 인식된 사람들의 인전 관계를 그래프로 모델링한다. 다음으로, 이 그래프의 시간적 변화를 시공간 그래프 합성공 신경망을 사용하여 학습한 뒤에 이후의 군중 행동 변화를 예측한다. 이 방법은 딥러닝을 이용하거나 옵티칼 플로우를 이용하는 방법에 비해 위험 행동 인식률을 향상시킴을 보여주었다

 

4. "Hybrid Classifiers for Spatio-Temporal Abnormal Behavior Detection, Tracking and Recognition in Massive Hajj Crowds" 논문

 

해당 논문은 CCTV 영상에서 비정상 행동을 수행하는 프레임들을 인식하고, 비정상 프레임들에서 인식된 사람들의 옵티컾 플로우를 측정하여 비정상 행위들을 확정하는 기법을 제안하였다

 

이 방법에서는 먼저 대규모 군중 영상 집합에서 비정상 행위들을 레이블링하여 합성곱 신경망에 학습시킨 후에 실제 테스트 영상에서 비정상 프레임들을 식별한다. 이후에 식별된 비정상 프레임들에 옵티칼 플로우와 칼만 필터를 적용하여 비정상적인 움직임을 보이거나 그럴 것으로 예측되는 객체들을 식별하여 표시한다. 다음으로 표시된 객체들의 움직임 통계값을 이용하여 RF 기반의 분류를 확정한다

 

5. "Scale-aware density estimation and crowd behavior analysis" 논문

 

해당 논문은 다양한 크기의 이미지 특성 맵에 대해 각가 셀프 어텐션을 적용하여 통합함으로써 이미지 크기 변화에 강건도 밀집도를 측정하고, 움직임 지도와 에너지 분포 기반의 특성 변화를 이용한 비정상 행위를 탐지하는 기법을 제안하였다

 

이 방법의 군중 밀집도 측정에서 합성곱 층을 통해 생성된 특성 맵들에 대해 다른 확장 비율로 커널을 적용한 후에 각각의 호가장 비율에 대해 셀프 어텐션 기법을 적용한다. 각각의 확장 비율과 셀프 어텐션 기법이 적용된 특성 맵들은 이미지의 크기 변화에 강건한 특성 추출이 가능하기에 보다 정확한 군중 밀집도 측정이 가능해진다. 

 

이 방법의 비정상 행위 인식에서는 이미지의 옵티칼 플로우를 측정하여 움직임 지도를 그린 후에, 움직임이 두드러지는 부분과 그렇지 않은 부분을 구분하여 균일성, 엔트로피, 대비성을 측정한다. 다음으로 이미지 프레임들에서 균일성, 엔트로피, 대비성이 급격히 변화하는 프레임이 존재하면 이 프레임을 비정상 프레임으로 인식한다