HyperAIHyperAI

Command Palette

Search for a command to run...

LitePose:用于2D人体姿态估计的高效架构设计

Yihan Wang1∗ Muyang Li2 Han Cai3 Weiming Chen3 Song Han3

摘要

姿态估计在以人为中心的视觉应用中发挥着关键作用。然而,由于计算成本高(每帧超过150亿次乘加运算),最先进的基于HRNet的姿态估计模型难以部署在资源受限的边缘设备上。本文研究了适用于边缘设备实时多人姿态估计的有效架构设计。通过我们的逐步缩小实验,我们发现对于低计算量区域的模型而言,HRNet的高分辨率分支是冗余的。移除这些分支可以同时提高效率和性能。受此发现启发,我们设计了一种高效的单分支姿态估计架构——LitePose,并引入了两种简单的方法来增强LitePose的能力,包括融合反卷积头(Fusion Deconv Head)和大核卷积(Large Kernel Convs)。融合反卷积头消除了高分辨率分支中的冗余,使得具有较低开销的比例感知特征融合成为可能。大核卷积在保持低计算成本的同时显著提高了模型的能力和感受野。仅增加25%的计算量,7x7核在CrowdPose数据集上的表现比3x3核高出14.0 mAP。在移动平台上,与先前最高效的姿态估计模型相比,LitePose在不牺牲性能的情况下最多可减少5.0倍的延迟,推动了边缘设备上实时多人姿态估计的前沿发展。我们的代码和预训练模型已发布在https://github.com/mit-han-lab/litepose


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供