NVIDIA : Les petits modèles linguistiques sont l'avenir de l'IA agente

NVIDIA affirme que les petits modèles linguistiques (SLMs) sont l'avenir de l'IA agente, suggérant une transition de l'architecture centrée sur les grands modèles linguistiques (LLMs) vers une approche prioritaire aux SLMs. Cette proposition repose sur plusieurs arguments, notamment les coûts, les latences, la surcharge, ainsi que les contraintes liées à l'hébergement des LLMs et leurs engagements commerciaux. NVIDIA propose une méthode de rétroaction basée sur les données d'utilisation, permettant l'examen et le regroupement de ces données en fonction des outils disponibles. Selon l'entreprise, les SLMs sont assez puissants, plus adaptés et nettement plus économiques pour de nombreuses tâches dans les systèmes agents. Le choix des modèles se ferait donc en fonction des sous-tâches spécifiques, avec une amélioration continue basée sur les tendances d'utilisation actuelles. Actuellement, les applications agentes sont souvent optimisées pour répondre aux exigences des LLMs, ce qui peut être considéré comme une situation où la queue fait bouger le chien. NVIDIA met en avant l'importance de l'impact opérationnel et économique que même un changement partiel vers les SLMs pourrait avoir sur l'industrie de l'IA agent. Les modèles linguistiques, qu'ils soient grands ou petits, sont essentiels pour les agents IA car ils leur permettent de prendre des décisions stratégiques quant à l'utilisation des outils disponibles, de contrôler le déroulement des opérations nécessaires à la réalisation des tâches, de décomposer les tâches complexes en sous-tâches gérables, et de mener des raisonnements pour la planification d'actions et la résolution de problèmes. Les agents IA communiquent généralement avec un point d'API centralisé hébergé dans le cloud, ce qui dessert un grand volume de requêtes diverses à l'aide d'un modèle linguistique générique. Cependant, NVIDIA soutient que la prédominance des LLMs dans la conception des agents IA est excessive et mal alignée avec les besoins fonctionnels de la plupart des cas d'utilisation. Les SLMs offrent plusieurs avantages, tels que des latences plus basses, des exigences moindres en matière de mémoire et de puissance de calcul, ainsi qu'une réduction significative des coûts opérationnels, tout en maintenant un niveau de performance suffisant dans des domaines restreints. Dans les systèmes d'agents IA, les objectifs complexes sont généralement décomposés en sous-tâches modulaires, chaque sous-tâche étant traitée de manière fiable par des SLMs spécialisés ou fine-tunés. Il serait donc plus logique d'avoir des modèles spécifiques aux cas d'utilisation pour des sous-tâches spécifiques, afin que les SLMs soient utilisés par défaut et les LLMs soient invoqués de façon sélective et rare. NVIDIA souligne également que, grâce aux techniques modernes d'entraînement, de prompting et d'augmentation agente, la capacité, et non le nombre de paramètres, est la contrainte principale. Cela signifie que des modèles plus petits peuvent être formés pour atteindre des performances équivalentes dans des domaines spécifiques, sans les inconvénients associés aux LLMs. En conclusion, cette étude de NVIDIA offre une perspective réaliste et pragmatique sur l'avenir de l'IA agente, promouvant une approche basée sur l'efficacité et l'économie plutôt que sur une taille de modèle excessive. Elle suggère que l'optimisation des agents IA pour les SLMs pourrait conduire à des systèmes plus performants, plus rapides et moins coûteux, tout en répondant de manière plus précise aux besoins fonctionnels des utilisateurs.