AIが人間犬の4D相互作用データで犬動作を生成

東京科学大学の彭依辰特任准教授と小池英樹教授らは、米国カーネギーメロン大学などと共同で、人間と犬の相互作用を記録したマルチモーダル4DデータセットInterPet4Dと、犬の運動生成AIフレームワークInterPetMoGen（IPMG）を開発した。成果はarXivに公開され、ECCV 2026で発表された。 InterPet4Dは時間軸付き3Dデータを指し、12台の同期カメラで161セッション、23人13犬を収録。683万フレームのマルチビュー動画、頭部視点動画、音声、3Dポーズを統合し、撫でる、指示、呼び寄せ、フリーアクションの4カテゴリに分類。近接動作による遮蔽を高精度に処理した。 IPMGは人間の姿勢・手部動作と音声から犬のリアクションを生成。動きをコンパクトトークンに変換し、自己回帰型トランスフォーマーとモーダリティ対応アテンションで文脈を考慮した逐次生成を実現した。 評価では生成運動のFIDが11.21とベースライン比47.2％低減。手部・体幹の同期精度と多様性も大幅向上し、人間評価でも自然性・応答性が高得点を記録した。 本研究は動物行動解析、アニメーション、協調ロボティクスの基盤として期待される。現在は10秒固定長だが、他種拡張や長尺生成への発展が視野にある。