我们提出了一种名为6-PACK的深度学习方法，用于基于RGB-D数据进行类别级别的6D物体姿态跟踪。该方法能够在实时环境中跟踪已知物体类别（如碗、笔记本电脑和杯子）的新实例。6-PACK通过少量的3D关键点来紧凑地表示物体，并通过关键点匹配估计物体实例在帧间的运动。这些关键点是在没有人工监督的情况下端到端学习得到的，以实现最佳的跟踪效果。实验结果表明，我们的方法在NOCS类别级别6D姿态估计基准测试中显著优于现有方法，并支持物理机器人执行简单的基于视觉的闭环操作任务。我们的代码和视频可在https://sites.google.com/view/6packtracking 获取。