HIDA：視覚障害者向けの包括的屋内理解を目指した、ウェアラブル固体状LiDARセンサを用いた意味的インスタンスセグメンテーション

視覚障がい者にとって、未知の空間を独立して探索したり、屋内環境内で物体を特定するという作業は、日常的ではあるものの、大きな課題である。しかし、一般的な2次元補助システムは、さまざまな物体間の奥行き関係を捉えられておらず、正確な空間構造や物体間の相対的位置関係を把握することが困難である。こうした課題に対処するため、本研究では、固体状LiDARセンサを用いた3次元点群インスタンスセグメンテーションに基づく軽量補助システム「HIDA」を提案する。本システムは、屋内環境の包括的検出と障害物回避を実現することを目的としている。全体として、3つのハードウェア部品、2つのインタラクティブ機能（障害物回避および物体検索）および音声ユーザーインターフェースから構成される。ユーザーが室内環境の変化に応じて現場でスキャンを行うことで、最新の状態の点群データを収集する。さらに、セマンティック情報とオフセット予測を同時に行う二重の軽量デコーダを備えた点群セグメンテーションモデルを設計し、システム全体の効率性を確保した。3次元インスタンスセグメンテーション処理後、外れ値の除去を行い、すべての点群を上視点2次元マップ表現に投影する後処理を実施。システムはこれらの情報を統合し、音声フィードバックを通じてユーザーに直感的なインタラクションを提供する。提案する3次元インスタンスセグメンテーションモデルは、ScanNet v2データセットにおいて最先端の性能を達成した。ユーザー研究における多様なタスクを用いた包括的な実地テストにより、本システムが視覚障がい者に対する屋内空間の包括的理解、障害物回避、物体探索の支援において、実用性と有効性を確認した。