Nous vivons une ère marquée par l’intégration profonde de l’intelligence artificielle, notamment des grands modèles linguistiques comme ChatGPT, dans nos vies quotidiennes et nos workflows professionnels. Malgré leurs capacités impressionnantes — de la rédaction de code à la synthèse de textes — ces modèles sont freinés par un goulot d’étranglement fondamental : la latence d’inférence. Même si le matériel est capable de calculs ultra-rapides, le temps nécessaire pour transférer les poids du modèle entre la mémoire système et la VRAM du GPU domine largement le temps de calcul réel, laissant le processeur inactif. Ce gaspillage de ressources est le principal frein à une exécution efficace. Plusieurs approches ont été proposées pour surmonter ce problème. La décodage spéculatif, par exemple, utilise un modèle plus petit pour prédire plusieurs mots à l’avance, que le modèle principal vérifie ensuite. Mais ce modèle secondaire, souvent moins performant, produit souvent des erreurs, entraînant des rejets coûteux en calcul. D’autres méthodes, comme les modèles de diffusion parallèle, génèrent des centaines de mots en une seule passe, mais au prix de pertes en cohérence linguistique et en précision. Pour combiner la rapidité de la diffusion et la fidélité de l’autorégression, une équipe de Nvidia a développé TiDAR (Think in Diffusion, Talk in Autoregression), une architecture hybride révolutionnaire. Son principe repose sur une séquence d’entrée structurée en trois parties : le contexte passé, les mots à vérifier (« drafts ») et des jetons [MASK] à remplir. Cette configuration permet une séparation claire entre deux composants : le « penseur » (diffusion) et le « parleur » (autorégression). Le composant « parleur » vérifie simultanément plusieurs tokens générés par le « penseur » en une seule passe forward. Grâce à un masque causal, chaque token est évalué uniquement à partir du contexte pertinent. Si un token est incohérent (ex. : « in pizza »), il est immédiatement remplacé par le mot le plus probable calculé dans la même passe, sans réexécution du modèle. Cette correction « gratuite » préserve la qualité tout en maximisant l’utilisation du GPU. Le composant « penseur » utilise un masque bidirectionnel pour remplir les [MASK] en analysant l’ensemble du contexte. Il génère des phrases plausibles (ex. : « red mat » après « The cat sat on the ») en parallèle, anticipant les prochaines étapes. Ce cycle continu — penser, vérifier, penser encore — garde le GPU saturé sans jamais attendre. Les résultats montrent une amélioration drastique de la vitesse d’inférence, avec une montée en débit (tokens par seconde) significative par rapport aux modèles classiques. La qualité reste élevée, proche de celle des modèles autorégressifs purs, grâce à la vérification rigoureuse. En comparaison avec EAGLE-3, une méthode de décodage spéculatif avancée, TiDAR excelle par la qualité des drafts (le modèle principal les génère lui-même) et l’absence de rejets coûteux. L’analyse expérimentale révèle un avantage crucial : jusqu’à environ 60 tokens peuvent être générés par passe sans augmenter la latence, car le calcul reste toujours inférieur au transfert de données. Ce « token gratuit » signifie que le GPU est exploité à 100 % de ses capacités. En résumé, TiDAR représente une avancée majeure dans l’inférence des LLMs, en résolvant le goulot d’étranglement mémoire par une architecture parallèle intelligente. Elle combine efficacité, vitesse et précision, ouvrant la voie à des applications réelles en temps réel. Les experts du domaine soulignent que cette approche pourrait devenir la norme pour les futures générations de modèles, notamment dans les systèmes interactifs exigeants. Nvidia, déjà leader en matériel IA, renforce sa position en proposant des solutions logicielles aussi innovantes que puissantes.