HyperAIHyperAI

Command Palette

Search for a command to run...

Demo2Vec:从在线视频中推理物体功能 affordance

Daniel Yang Te-Lin Wu Silvio Savarese Kuan Fang Joseph J. Lim

摘要

观看专家示范是人类与机器人推理未知物体功能属性(affordances)的重要方式。本文研究通过示范视频的特征嵌入来推理物体功能属性的问题。为此,我们提出了一种名为Demo2Vec的模型,该模型能够学习提取示范视频的嵌入向量,并在目标图像上预测同一物体的交互区域与动作类别标签。为支持该研究,我们构建了面向功能属性的在线产品评论数据集(Online Product Review dataset for Affordance, OPRA),通过收集并标注多样化的YouTube产品评测视频而得。实验结果表明,所提出的Demo2Vec模型在所构建数据集上的表现优于多种循环神经网络(Recurrent Neural Network)基线模型。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供