HyperAIHyperAI

Command Palette

Search for a command to run...

从演示视频到目标图像的动作可能性接地

Joya Chen Difei Gao Kevin Qinghong Lin Mike Zheng Shou

摘要

人类在从专家演示中学习和解决自身问题方面表现出色。为了使智能机器人和助手(如增强现实眼镜)具备这种能力,关键是从演示视频中提取人类手部交互(即操作可能性)并将其应用于目标图像,例如用户的增强现实眼镜视图。视频到图像的操作可能性定位任务具有挑战性,主要因为(1)需要预测细粒度的操作可能性,以及(2)有限的训练数据无法充分覆盖视频与图像之间的差异,从而对定位产生负面影响。为了解决这些问题,我们提出了操作可能性变换器(Affordance Transformer,简称 Afformer),该模型具有基于变换器的细粒度解码器,可以逐步优化操作可能性的定位。此外,我们引入了掩码操作可能性手部模型(Mask Affordance Hand,简称 MaskAHand),这是一种自监督预训练技术,用于合成视频-图像数据并模拟上下文变化,从而增强跨视频-图像差异的操作可能性定位。结合 MaskAHand 预训练的 Afformer 在多个基准测试中取得了最先进的性能,包括在 OPRA 数据集上实现了显著的 37% 改进。代码已发布在 https://github.com/showlab/afformer


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供