HyperAIHyperAI

Command Palette

Search for a command to run...

Demo2Vec:オンライン動画から推論するオブジェクトの機能性

Daniel Yang Te-Lin Wu Silvio Savarese Kuan Fang Joseph J. Lim

概要

エキスパートのデモンストレーションを観察することは、人間およびロボットが未確認の物体の機能的可能性(アフォーダンス)を理解する上で重要な手法である。本論文では、デモンストレーション動画の特徴埋め込みを用いた物体のアフォーダンス推論という問題に着目する。我々は、デモンストレーション動画から埋め込みベクトルを抽出し、同一物体のターゲット画像に対してインタラクション領域と動作ラベルを予測することができる「Demo2Vec」モデルを提案する。また、多様なYouTube製品レビュー動画を収集・ラベル付けすることで、「アフォーダンス用オンライン製品レビューデータセット(OPRA)」を構築した。実験の結果、収集したデータセットにおいて、提案モデルであるDemo2Vecは複数の再帰型ニューラルネットワークベースラインを上回る性能を示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Demo2Vec:オンライン動画から推論するオブジェクトの機能性 | 記事 | HyperAI超神経