L'optimisation de l'inférence des modèles d'intelligence artificielle repose sur une question centrale : comment maintenir le processeur graphique constamment actif ? Moondream vient de présenter Photon, un nouveau cadre de traitement qui élimine les temps d'inactivité du GPU, communément appelés bulles GPU. Dans les générations de texte séquentielles, le GPU doit souvent attendre que le processeur central finalise des tâches de gestion comme la sélection des jetons ou la préparation des métadonnées. Cette synchronisation bloque le calcul et réduit fortement le débit. La solution de Moondream repose sur un décodage pipeliné qui superpose les tâches du processeur central et du processeur graphique. Au lieu de bloquer le système à chaque étape, le GPU lance le calcul du prochain jeton pendant que le processeur central traite les résultats précédents. Cette approche nécessite trois mécanismes clés. Premièrement, l'utilisation de tampons alternés permet de stocker les données sans collision, le GPU écrivant dans un ensemble pendant que le processeur central lit l'autre. Deuxièmement, le système découple la génération brute des jetons de leur validation. Les contraintes de formatage, indispensables pour les sorties structurées comme les coordonnées ou les détecteurs d'images, sont préparées en arrière-plan tandis que le GPU avance sans attendre. Troisièmement, un système de comptage de références gère proprement la fin des requêtes. Lorsqu'une génération se termine, la séquence reste en mémoire tant que le GPU n'a pas fini de l'utiliser, évitant ainsi des annulations complexes au milieu des calculs. Ce pipeline unifié gère également l'initialisation des requêtes et la génération token par token dans le même flux. Cette intégration est particulièrement avantageuse pour les demandes aux réponses courtes, où la phase initiale domine. En partageant les ressources, le système évite la sérialisation des tâches et maintient une charge de travail constante. Les benchmarks de Moondream indiquent des gains de performance significatifs. Sur des cartes graphiques grand public, le pipelining offre une augmentation de débit de l'ordre de cinq à six pour cent. Sur des accélérateurs plus récents, les gains dépassent les trente-cinq pour cent avec des lots importants. L'efficacité augmente avec la puissance du matériel, car les temps de calcul diminuent tandis que les tâches CPU, indépendantes de la vitesse du GPU, occupent proportionnellement plus de temps. Le principal inconvénient, un léger gaspillage de ressources lors de la gestion des requêtes terminées, s'atténue considérablement avec l'augmentation de la taille des lots. Moondream précise que ces résultats ne reposent pas sur une seule optimisation, mais sur l'accumulation de dizaines d'améliorations au sein de la pile logicielle, incluant le prétraitement des images, les noyaux de calcul et la suppression des points de synchronisation. Cette architecture pose les bases d'une inférence plus réactive et scalable. Une version majeure du système est annoncée pour le proche avenir, promettant des avancées complémentaires sur cette même logique d'optimisation.