코로나19 확산 예방을 위해 올바른 손 씻기 점수를 매기는 AI 영상 인식 기술

코로나19 확산을 막기 위해 정부가 권고하는 조치는 기본적으로 개인 위생 관리입니다. 마스크 착용은 물론이거니와 자주 손을 씻어야 하죠. 하지만 손을 씻을 때도 비누를 사용하여 올바른 단계를 거쳐 세균을 (모조리..ㅋ) 없애주어야 합니다. 

내가 제대로 손을 씻었는지 어떻게 확인할 수 있을까요? 더구나 내가 한 식당의 주인이라면 직원, 손님들이 화장실에서 손을 깨끗하게 씻었는지 일일이 검사할 수 있을까요? 오늘은 시간과 비용을 줄이면서 위생은 확실히 챙길 수 있는! 일본 기업 후지쯔(Fujitsu)가 AI를 활용해 개발한 손 씻기 영상 인식 기술을 소개하고자 합니다. 

---

후지쯔, 작업장에서의 손 씻기 에티켓 및 위생을 위한 AI 영상 인식 기술 개발

5월 26일, 후지쯔 랩(Lab)과 R&D 센터는 “Actlyzer”라는 손 씻기 움직임 인식 기술을 개발했습니다. 이는 AI와 기계 학습을 통해 카메라에 찍힌 영상 데이터로부터 복잡한 손 씻기 움직임을 확인하는 것입니다. 

코로나19 바이러스가 펜데믹이 되면서 박테리아, 인플루엔자 및 기타 전염병으로부터 사람들의 건강을 보호하기 위한 수단으로 손 씻기가 점점 중요해지고 있습니다. 일본에는 2020년 6월 새롭게 시행될 규정이 있는데, 바로 식품 사업자가 국제 HACCP(Hazard Analysis and Critical Control Points) 식품 안전 기준에 따라 위생 보장을 위한 강력한 조치를 시행해야 한다는 것입니다. 각 업계에서는 사람들이 손을 제대로 씻는지 신속하고 정확하게 확인할 수 있는 방법을 생각해내고 있습니다.

이에 따라 후지쯔는 기존에 보유하던 "Actlyzer 행동 분석 기술"의 인식 기능을 확장했고, 그 결과 대량의 훈련 데이터에 의존하지 않고도 다양한 미묘하고도 복잡한 사람의 움직임을 인식할 수 있게 되었습니다. 이 기술을 통해 일본 보건 복지부에서 권장하는 6단계의 손 ​​씻기를 제대로 수행하는지 쉽게 파악할 수 있고, 현장 검사관이 직접 확인하는 데 소요되는 시간을 줄일 수 있습니다. 앞으로 후지쯔는 이 기술이 의료 시설, 학교, 호텔 및 대규모 행사 장소 등 다양한 상황에서 사용될 것으로 예상하고 있습니다. 

개발 배경

일본 보건 복지부는 식중독과 전염병의 확산을 막기 위해 사람들이 손을 제대로 씻을 수 있도록 총 6단계의 손 씻기 방법을 따를 것을 권장합니다.(그림 1)

그림 1: 올바른 손 세척을 위한 6단계

현재 식품 서비스 산업 종사자들은 손을 씻을 때 이 6단계를 모두 수행해야 하고, 또 각 단계에서 손의 여러 부분을 특정 횟수 이상 문질러야 합니다. 이를 위해 식품 서비스 제공 업체는 점검표와 자체 보고서를 작성하며, 현장 작업자는 감독관의 점검을 직접 받습니다. 하지만 이러한 과정은 여전히 ​​수동으로 이루어져 오류에 따른 비용, 안전 검사 자원 부족 등의 문제가 지속적으로 발생하고 있습니다. 이를 인식한 많은 제조업체는 AI 기술을 활용하여 손 씻기 검사의 자동화 프로세스를 구축하기 위해 노력 중입니다.

도전 과제

딥러닝을 사용한 기존의 제스처 인식(gesture recognition)은 손과 손가락의 움직임을 식별하는 일반적인 기술입니다. 이는 손의 이미지로부터 관절 및 손가락 끝과 같은 다수의 특징점(feature points)을 검출하고, 특징점의 위치 관계에 기반하여 손 제스처를 식별하는 것입니다.(그림 2 왼쪽) 다만, 한 가지 문제는 사람들이 손을 올바르게 씻을 때 두 손이 겹쳐지고 비누 칠이 추가되면서 손가락 특징점을 가리고 정확한 제스처 인식을 방해한다는 것입니다.(그림 2 오른쪽)

그림 2 : 기존의 손 추적 기술 (왼쪽 : 제스처 인식 결과, 오른쪽 : 손 씻기 동작)

새롭게 개발된 기술

이러한 문제를 해결하기 위해 후지쯔는 위에서 설명한 조건 하에서 손의 움직임을 자동으로 정확하게 인식하는 새로운 AI 기술을 개발했습니다. 

새로운 기술을 사용하면 손 씻기 과정의 복잡한 손 움직임이 손 모양과 반복적인 마찰 동작의 조합으로 포착되며, 이는 손 모양 인식(Hand Shape Recognition) 및 모션 인식(Motion Recognition)이라는 두 가지 딥러닝 엔진에 의해 감지됩니다.(그림 3) 

손 모양 인식 엔진은 양손이 서로 포개지는 과정에서 나타나는 전형적인 손 움직임의 형태를 파악하는 기본 학습 모델을 사용하는데, 이로써 이미지 각 프레임에 나타난 손 모양을 식별합니다. 양손의 전체적인 모양에 초점을 맞추면서 손이 겹치거나 거품으로 인해 손가락 끝과 관절 특징점이 올바르게 감지되지 않는 문제를 해결합니다. 또한, 데이터 변화를 추적할 수 있는 후지쯔 고유의 AI 기술 "고도 내구성 학습(High Durability Learning)"을 활용하여 카메라 위치나 조명이 달라져도 양손의 기본 모양을 정확하게 인식할 수 있습니다. 

모션 인식 엔진은 연속 프레임에서 주기적으로 변화하는 모션을 감지하고 반복되는 패턴과 주기가 있는 마찰 횟수를 계산하는 학습 모델을 사용합니다. 

추가로 두 인식 엔진의 결과는 인식 정확도를 향상시키기 위해 서로에게 피드백을 제공합니다. 모션 인식 엔진은 손 모양 인식 엔진이 식별한 단계에 따라 판단되는 모션의 크기에 대한 임계값(threshold)을 설정합니다. 이로써 거품 모션이나 마찰과 관계없는 손떨림과 같은 오류(잘못된 식별)를 방지합니다. 손 모양 인식 엔진은 모션 인식 엔진에 의해 검출된 반복 패턴 주기를 사용하여 식별 결과를 필터링함으로써 검출 정확도를 향상시킵니다.

그림 3 : 양손의 전체적인 모양과 모션 패턴의 조합으로 복잡한 양손 동작 인식

효과

모델 학습 및 평가를 위해 사람, 카메라 위치, 비누 종류 등의 약 2000개의 변수가 있는 화장실 영상 데이터셋이 독립적으로 촬영 및 수집되었습니다. 학습 결과, 6단계의 손 씻기 수행 여부 식별의 정확도는 평균 95% 이상, 손의 각 부분을 문지르는 움직임 식별 정확도는 90% 이상이었습니다. 

현장에서 시스템을 작동하면 손 씻기 화면과 단계 수행 여부를 보여주는 화면을 제공합니다. 사람들은 본인이 손을 문지르는 시간 및 6단계 중 어느 단계를 수행하고 있는지 알 수 있습니다. 이 외에도 시스템은 손을 씻기 시작한 시간, 각 단계를 수행하는 시간, 마찰 횟수에 대한 데이터를 자동으로 기록합니다.(그림 4)

그림 4: 인식 영상 예제

이 기술은 엄격한 위생 관리가 필요한 작업장에서 손 씻기 점검을 자동화하여 육안 확인 및 수동 기록에 드는 비용을 줄일 수 있습니다. 또한, 후지쯔의 시스템은 부정확하거나 불완전한 손 씻기를 식별하 못하도록 구성되어 올바른 손 씻기 표준을 설립할 수 있을 것으로 보입니다. 

참고 원문: https://www.fujitsu.com/global/about/resources/news/press-releases/2020/0526-01.html