ペンシルベニア州立大学の研究チームが、視覚障がい者向けにリアルタイムで物体の位置を「感じ取る」支援技術を搭載したAIアプリ「NaviSense」を開発した。このスマートフォンアプリは、ユーザーの音声による指示に基づき、周囲の物体を即座に特定し、音声と振動で方向を案内する。従来の視覚支援ツールは、事前に物体のモデルを記録する必要があり、柔軟性に欠けるという課題があったが、NaviSenseは大規模言語モデル（LLM）と視覚言語モデル（VLM）を活用することで、あらかじめデータを登録せずにリアルタイムで環境認識が可能になった。 研究チームは、視覚障がい者12名とインタビューを重ね、実際の生活課題に応じた機能設計を実施。アプリはユーザーの声に応じて対象物を絞り込み、不明な場合は追加質問で絞り込みを図る対話型操作を採用。さらに、スマートフォンの動きを解析してユーザーの手の位置をリアルタイムで追跡し、手が向かう方向に「左」「右」「上」「下」など、具体的なフィードバックを提供。この「手の誘導機能」は、既存のツールにはなく、ユーザーからの強い要望だった。 実験では、NaviSenseが商用アプリよりも物体検出の正確性と探索時間の短縮を実現。参加者からは「左右上下の案内が明確で、すぐに届く」という肯定的な評価が寄せられた。研究チームは、この技術が商業化に近づいているとし、バッテリー消費の低減やAIモデルの効率化を今後の課題としている。 NaviSenseは2025年10月にデンバーで開催されたACM SIGACCESS ASSETS '25会議で「ベストオーディエンスチョイスポスター賞」を受賞。研究の詳細は国際会議論文集に掲載された。視覚障がい者との協働による開発により、実用性とユーザー体験の両立を実現した画期的な取り組みとして注目されている。