Les grands modèles linguistiques se distinguent par leur capacité à accomplir une large gamme de tâches complexes. Toutefois, permettre une inférence générale dans le monde réel, par exemple pour des problèmes de robotique, soulève le défi de l’ancrage (grounding). Nous proposons des modèles linguistiques incarnés (embodied language models), qui intègrent directement des modalités sensorielles continues du monde réel dans les modèles linguistiques, établissant ainsi un lien direct entre les mots et les perceptions. Les entrées de notre modèle linguistique incarné sont des phrases multimodales intégrant de manière alternée des données visuelles, des estimations continues d’état et des encodages textuels. Nous entraînons ces encodages de manière end-to-end, conjointement avec un grand modèle linguistique pré-entraîné, sur plusieurs tâches incarnées, notamment la planification séquentielle de manipulation robotique, la réponse à des questions visuelles et la génération de légendes. Nos évaluations montrent que PaLM-E, un unique modèle multimodal incarné de grande taille, est capable de traiter diverses tâches de raisonnement incarné à partir de multiples modalités d’observation, sur différentes incarnations robotiques, et présente un transfert positif : le modèle bénéficie d’un entraînement conjoint diversifié sur des domaines linguistiques, visuels et visuo-linguistiques à l’échelle d’internet. Notre plus grand modèle, PaLM-E-562B, doté de 562 milliards de paramètres, outre son entraînement sur des tâches robotiques, se révèle être un généraliste visuo-linguistique performant au niveau de l’état de l’art sur OK-VQA, tout en maintenant des capacités linguistiques généralistes qui s’améliorent avec l’échelle.