Communication orientée langage avec codage sémantique et distillation de connaissance pour la génération d’images à partir de texte

En intégrant les avancées récentes des grands modèles linguistiques (LLM) et des modèles génératifs dans le paradigme émergent de la communication sémantique (SC), cet article propose un nouveau cadre de communication sémantique orientée vers le langage (LSC). Dans ce cadre, les machines communiquent à l’aide de messages exprimés en langage humain, pouvant être interprétés et manipulés grâce à des techniques de traitement du langage naturel (NLP) afin d’améliorer l’efficacité de la communication sémantique. Pour illustrer le potentiel du LSC, nous introduisons trois algorithmes innovants : 1) le codage source sémantique (SSC), qui compresse une requête textuelle en ses mots-clés essentiels, en préservant l’ordre d’apparition de ces mots afin de maintenir le contexte de la requête ; 2) le codage canal sémantique (SCC), qui renforce la robustesse aux erreurs en remplaçant les mots-clés par leurs synonymes plus longs ; et 3) la distillation de connaissance sémantique (SKD), qui génère des requêtes adaptées au style linguistique de l’interlocuteur via l’apprentissage in-context du style langagier de ce dernier. Dans une tâche de communication visant à générer progressivement des images à partir de textes, les méthodes proposées atteignent une similarité perceptuelle plus élevée avec un nombre réduit d’échanges, tout en améliorant la robustesse dans des canaux de communication bruyants.