Nous présentons 6-PACK, une approche d'apprentissage profond pour le suivi de la pose 6D des objets au niveau des catégories à partir de données RGB-D. Notre méthode permet un suivi en temps réel d'instances d'objets inédits appartenant à des catégories d'objets connues, telles que des bols, des ordinateurs portables et des tasses. 6-PACK apprend à représenter de manière compacte un objet par un petit nombre de points clés 3D, sur la base desquels le mouvement inter-frame d'une instance d'objet peut être estimé par appariement de points clés. Ces points clés sont appris de bout en bout sans supervision manuelle afin d'être les plus efficaces possible pour le suivi. Nos expériences montrent que notre méthode surpasse considérablement les méthodes existantes sur le banc d'essai NOCS pour l'estimation de la pose 6D au niveau des catégories et permet à un robot physique de réaliser des tâches simples de manipulation basées sur la vision en boucle fermée. Notre code source et notre vidéo sont disponibles à l'adresse suivante : https://sites.google.com/view/6packtracking.