HIDA: 착용형 고체 상태 LiDAR 센서를 활용한 의미적 인스턴스 세그멘테이션을 통한 시각 장애인을 위한 종합적인 실내 이해 접근

시각 장애인에게는 낯선 공간을 독자적으로 탐색하거나 실내 환경에서 물체를 찾는 일이 일상적이지만 도전적인 과제이다. 그러나 일반적인 2차원 보조 시스템은 다양한 물체 간의 깊이 관계를 제공하지 못하여 정확한 공간 구조 및 물체 간 상대 위치를 파악하는 데 어려움이 있다. 이러한 문제를 해결하기 위해, 우리는 고체 상태 LiDAR 센서를 기반으로 한 3D 포인트 클라우드 인스턴스 세그멘테이션 기술을 활용한 경량형 보조 시스템 HIDA를 제안한다. 이 시스템은 실내 환경의 종합적 탐지 및 장애물 회피를 목적으로 한다. 전체 시스템은 세 가지 하드웨어 구성 요소, 두 가지 상호작용 기능(장애물 회피 및 물체 탐색), 그리고 음성 사용자 인터페이스로 구성되어 있다. 사용자가 실내 환경의 변화 상태를 반영하는 최신 포인트 클라우드를 현장 스캔을 통해 캡처하며, 음성 안내에 따라 작동한다. 또한, 시스템의 효율성을 만족시키기 위해, 의미적 정보 및 오프셋 예측을 위한 이중 경량 디코더를 갖춘 포인트 클라우드 세그멘테이션 모델을 설계하였다. 3D 인스턴스 세그멘테이션 후, 이상치 제거 및 모든 포인트를 상단 시점 2D 맵 표현으로 투영하는 후처리를 수행한다. 시스템은 위의 정보를 통합하여 음성 피드백을 통해 사용자와 직관적으로 상호작용한다. 제안된 3D 인스턴스 세그멘테이션 모델은 ScanNet v2 데이터셋에서 최신 기술 수준의 성능을 달성하였다. 사용자 연구를 통한 다양한 작업에 대한 포괄적인 현장 테스트를 통해, 본 시스템이 시각 장애인의 실내 환경 전반에 대한 이해, 장애물 회피 및 물체 탐색을 효과적으로 지원함을 입증하였다.