ウェアラブル機器が人間活動データを取得、ロボ学習向け

上海人工知能実験室、浙江大学、上海交通大学の研究チームは、ヒューマノイドロボットの作業学習向けに、自己視点映像、全身姿勢、手指運動、触覚情報を同時記録するウエアラブルシステムを開発し、100時間分の人間活動データ集「エゴエクスプローラー」を構築した。研究は2026年のプレプリントで公開された。 システムは装着者視点の小型カメラ、頭部・両手・両足に取り付ける位置姿勢センサー、指関節と触覚を測定する手袋、専用マウントとストラップで構成する。作業中の連続記録から、移動と姿勢変化、物体接触が連携する人間の動作を捉える。 研究チームは、疎なセンサー情報から全身運動を推定する「校正、補完、制約」パイプラインを提案した。まず個人体格とセンサー装着状態を校正して誤差要因を分離し、次に未計測の関節運動を学習済み運動パターンから補完する。最後に計測値との整合性、時間的滑らかさ、人体形状制約を確認して全身姿勢を復元する。 評価では、基準となる計測値に対し、全身計測点の誤差を最も強力な既存手法比で71.9%低減した。手の安定性と接触推定でも改善が確認された。多様なモダリティを同時に生成する手法が、個別生成より優れていることも示した。さらにシミュレーション上のヒューマノイド型ロボットで2件の人間動作を模倣させ、転倒なく追従した。 ただし、精密な物体操作や未知環境での性能、実機への展開は検証していない。今後はこのデータでロボット制御器を訓練し、複数環境での作業遂行能力向上に活用できる可能性がある。