HyperAIHyperAI

Command Palette

Search for a command to run...

Communication orientée langage avec codage sémantique et distillation de connaissance pour la génération d’images à partir de texte

Hyelin Nam Jihong Park Jinho Choi Mehdi Bennis Seong-Lyun Kim

Résumé

En intégrant les avancées récentes des grands modèles linguistiques (LLM) et des modèles génératifs dans le paradigme émergent de la communication sémantique (SC), cet article propose un nouveau cadre de communication sémantique orientée vers le langage (LSC). Dans ce cadre, les machines communiquent à l’aide de messages exprimés en langage humain, pouvant être interprétés et manipulés grâce à des techniques de traitement du langage naturel (NLP) afin d’améliorer l’efficacité de la communication sémantique. Pour illustrer le potentiel du LSC, nous introduisons trois algorithmes innovants : 1) le codage source sémantique (SSC), qui compresse une requête textuelle en ses mots-clés essentiels, en préservant l’ordre d’apparition de ces mots afin de maintenir le contexte de la requête ; 2) le codage canal sémantique (SCC), qui renforce la robustesse aux erreurs en remplaçant les mots-clés par leurs synonymes plus longs ; et 3) la distillation de connaissance sémantique (SKD), qui génère des requêtes adaptées au style linguistique de l’interlocuteur via l’apprentissage in-context du style langagier de ce dernier. Dans une tâche de communication visant à générer progressivement des images à partir de textes, les méthodes proposées atteignent une similarité perceptuelle plus élevée avec un nombre réduit d’échanges, tout en améliorant la robustesse dans des canaux de communication bruyants.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp