ナレーティッド指示ビデオからの非監督学習

本研究は、自動車のタイヤ交換などの特定のタスクを完了するための主要な手順を、ナレーション付き指示ビデオのセットから自動的に学習する問題に取り組んでいます。本論文の貢献は以下の3点にまとめられます。第一に、入力ビデオと関連するナレーションの相補的な性質を活用した新しい非監督学習アプローチを開発しました。この手法は、テキストとビデオにおける2つのクラスタリング問題を解決し、これらを順次適用し、共通制約によって結びつけて、両モダリティで一貫した単一の手順シーケンスを得ます。第二に、インターネットから収集し、注釈付けた新たな挑戦的な実世界指示ビデオデータセットを作成しました。このデータセットには、人々と物体との複雑な相互作用が含まれる5つの異なるタスクが含まれており、約80万フレームが屋内や屋外での多様な設定で撮影されています。第三に、提案手法が非監督的な方法でタスク達成の主要な手順を自動的に発見し、入力ビデオ内の手順位置を特定できることを実験的に示しました。