现有的手部重建方法主要遵循一个多阶段框架，包括检测、左右分类和姿态估计。这种范式导致了冗余计算和累积误差。在本研究中，我们提出了HandOS，一种用于3D手部重建的端到端框架。我们的核心动机在于利用一个冻结的检测器作为基础，同时引入辅助模块进行2D和3D关键点估计。通过这种方式，我们将姿态估计能力整合到检测框架中，同时消除了使用左右类别作为先决条件的必要性。具体而言，我们提出了一种交互式的2D-3D解码器，其中2D关节语义从检测线索中提取，而3D表示则从2D关节的表示中提升。此外，设计了分层注意力机制以实现2D关节、3D顶点和相机平移的同时建模。因此，我们在一个单阶段框架内实现了手部检测、2D姿态估计和3D网格重建的端到端集成，从而克服了上述多阶段方法的缺点。与此同时，HandOS在公开基准测试中的表现达到了最先进水平，例如在FreiHand数据集上达到5.0 PA-MPJPE（平均比例下的每个关节位置误差），在HInt-Ego4D数据集上达到64.6% [email protected]（关键点检测精度）。项目页面：idea-research.github.io/HandOSweb。