Moritz Reuss Hongyi Zhou Marcel Rühle Ömer Erdinç Yağmurlu Fabian Otto Rudolf Lioutikov

Résumé

Le développement de politiques Vision-Language-Action (VLA) efficaces est essentiel pour le déploiement pratique de la robotique, mais les approches actuelles se heurtent à des coûts computationnels prohibitifs et à des exigences importantes en ressources. Les politiques VLA basées sur les modèles de diffusion nécessitent actuellement des modèles de plusieurs milliards de paramètres ainsi que de vastes jeux de données pour atteindre de fortes performances. Nous abordons ce défi d'efficacité grâce à deux contributions : la fusion intermédiaire par modalité, qui réalloue la capacité au module de diffusion en supprimant jusqu'à 50 % des couches du modèle linguistique (LLM), et une conditionnement Global-AdaLN spécifique à l'action, qui réduit les paramètres de 20 % grâce à une adaptation modulaire. Nous intégrons ces avancées dans une nouvelle VLA de 950 M de paramètres, nommée FLOWER. Préentraînée en seulement 200 heures de calcul sur GPU H100, FLOWER atteint des performances compétitives par rapport à des VLA plus grandes sur 190 tâches couvrant dix benchmarks, tant en simulation qu'en situation réelle, tout en démontrant une robustesse remarquable face à une diversité d'embodiments robotiques. En outre, FLOWER établit un nouveau record d'état de l'art (SoTA) de 4,53 sur le benchmark CALVIN ABC. Des démonstrations, le code source et les poids préentraînés sont disponibles à l'adresse suivante : https://intuitive-robots.github.io/flower_vla/.