Le suivi et la détection de tout objet, y compris ceux jamais observés auparavant pendant l’entraînement du modèle, constituent une capacité cruciale mais difficile à réaliser pour les systèmes autonomes. Un agent autonome aveugle aux objets inconnus présente un risque de sécurité lorsqu’il opère dans le monde réel – et pourtant, c’est précisément le fonctionnement de presque tous les systèmes actuels. L’un des principaux obstacles à l’avancement du suivi d’objets quelconques réside dans la difficulté intrinsèque d’évaluer cette tâche. Un benchmark permettant une comparaison directe et équitable des approches existantes constitue une étape fondamentale vers l’essor de ce domaine de recherche important. Ce papier vise à combler ce manque d’évaluation, en définissant le paysage et la méthodologie d’évaluation pour la détection et le suivi d’objets connus et inconnus dans un cadre ouvert. Nous proposons un nouveau benchmark, TAO-OW : Tracking Any Object in an Open World, analysons les approches existantes en suivi d’objets multiples, et établissons une base de référence pour cette tâche tout en mettant en lumière les défis futurs. Nous espérons ouvrir une nouvelle voie dans la recherche sur le suivi d’objets multiples, qui pourrait progressivement nous rapprocher de systèmes intelligents capables de fonctionner en toute sécurité dans le monde réel.