Permettre aux robots d’exécuter des tâches de manipulation nouvelles, sans aucun exemple (zero-shot), constitue un objectif central en robotique. La plupart des méthodes existantes supposent des tâches appartenant à la distribution d’apprentissage ou dépendent d’un ajustement fin (fine-tuning) basé sur des données correspondant à l’embodiment (corps physique) du robot, ce qui limite le transfert entre différentes plateformes. Nous présentons NovaFlow, un cadre autonome de manipulation qui transforme une description de tâche en un plan exécutable pour un robot cible, sans nécessiter aucune démonstration. Étant donné une description de tâche, NovaFlow synthétise une vidéo à l’aide d’un modèle de génération vidéo, puis en extrait un flux d’objets actionnables en 3D à l’aide de modules de perception standards. À partir de ce flux, il calcule les poses relatives des objets rigides, qu’il traduit en actions robotiques via des propositions de prise et une optimisation de trajectoire. Pour les objets déformables, ce flux sert d’objectif de suivi dans un planificateur basé sur un modèle dynamique à particules. En découplant la compréhension de la tâche du contrôle de bas niveau, NovaFlow se transfère naturellement d’un embodiment à un autre. Nous validons notre approche sur des tâches de manipulation d’objets rigides, articulés et déformables, en utilisant un bras robotique Franka posé sur une table et un robot mobile quadrupède Spot, et obtenons une exécution efficace en zero-shot, sans démonstration ni entraînement spécifique à l’embodiment. Site du projet : this https URL.