TransLLM : un cadre fondamental unifié multi-tâches pour le transport urbain par une incitation apprenable

Les systèmes de transport urbain font face à des défis variés dans plusieurs tâches, telles que la prévision du trafic, la prévision de la demande de recharge des véhicules électriques (VE) ou encore le dispatching des taxis. Les approches existantes souffrent de deux limitations majeures : les modèles profonds à petite échelle sont spécifiques à une tâche et nécessitent de grandes quantités de données, ce qui limite leur généralisation dans des scénarios diversifiés ; quant aux grands modèles linguistiques (LLM), bien qu’ils offrent une grande flexibilité grâce à leurs interfaces en langage naturel, ils peinent à traiter efficacement les données spatio-temporelles structurées et à réaliser des raisonnements numériques dans les domaines du transport. Pour surmonter ces limites, nous proposons TransLLM, un cadre fondamental unifié qui intègre le modélisation spatio-temporelle aux grands modèles linguistiques grâce à une composition apprenable de prompts. Notre approche repose sur un encodeur spatio-temporel léger, qui capture des dépendances complexes à l’aide de convolutions temporelles dilatées et de réseaux d’attention sur graphes à double adjacence, interfacé de manière fluide avec les LLM via des embeddings structurés. Un mécanisme novateur de routage de prompts au niveau des instances, entraîné par apprentissage par renforcement, personnalise dynamiquement les prompts en fonction des caractéristiques des entrées, dépassant ainsi les modèles fixes et spécifiques à une tâche. Le cadre opère en encodant les motifs spatio-temporels en représentations contextuelles, en composant dynamiquement des prompts personnalisés pour guider le raisonnement des LLM, puis en projetant les représentations résultantes à travers des couches de sortie spécialisées afin de générer des prédictions spécifiques à chaque tâche. Des expériences menées sur sept jeux de données et trois tâches démontrent l’efficacité exceptionnelle de TransLLM, tant dans des scénarios supervisés que zéro-shot. Comparé à dix modèles de référence, TransLLM obtient des performances compétitives sur des problèmes de régression comme de planification, illustrant une forte capacité de généralisation et une adaptabilité trans-tâches. Notre code est disponible à l’adresse suivante : https://url.