HyperAIHyperAI

Command Palette

Search for a command to run...

HandOccNet:抗遮挡3D手部网格估计网络

JoonKyu Park Yeonguk Oh Gyeongsik Moon Hongsuk Choi Kyoung Mu Lee

摘要

手部经常被物体严重遮挡,这使得三维手部网格估计变得极具挑战性。以往的研究通常忽略了遮挡区域的信息。然而,我们认为遮挡区域与手部之间存在强烈的关联,因此可以提供对完整三维手部网格估计极为有益的信息。为此,在本工作中,我们提出了一种新颖的三维手部网格估计网络——HandOccNet,该网络能够充分利用遮挡区域的信息作为辅助手段来增强图像特征,使其更加丰富。为了实现这一目标,我们设计了两个连续的基于Transformer的模块,分别称为特征注入Transformer(FIT)和自增强Transformer(SET)。FIT通过考虑遮挡区域与手部之间的相关性,将手部信息注入到遮挡区域中。SET则利用自注意力机制进一步优化FIT的输出。通过将手部信息注入到遮挡区域,我们的HandOccNet在包含具有挑战性的手-物遮挡情况的三维手部网格基准测试中达到了最先进的性能。代码可从以下链接获取:https://github.com/namepllet/HandOccNet


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HandOccNet:抗遮挡3D手部网格估计网络 | 论文 | HyperAI超神经