Sprachorientierte Kommunikation mit semantischer Kodierung und Wissensdistillation für die Text-zu-Bild-Generierung

Durch die Integration neuer Fortschritte in großen Sprachmodellen (Large Language Models, LLMs) und generativen Modellen in die sich entwickelnde semantische Kommunikation (Semantic Communication, SC) stellen wir in diesem Artikel einen neuartigen Rahmen für sprachorientierte semantische Kommunikation (Language-oriented Semantic Communication, LSC) vor. In der LSC kommunizieren Maschinen mithilfe menschlicher Sprachnachrichten, die mittels Techniken des Natural Language Processing (NLP) interpretierbar und manipulierbar sind, um die Effizienz der semantischen Kommunikation zu steigern. Um das Potenzial der LSC zu demonstrieren, führen wir drei innovative Algorithmen ein: 1) semantische Quellencodierung (Semantic Source Coding, SSC), die einen Textprompt in seine wesentlichen Hauptwörter komprimiert, wobei die syntaktische Essenz des Prompts erhalten bleibt und gleichzeitig die Reihenfolge der Wörter beibehalten wird, um den Kontext des Prompts zu bewahren; 2) semantische Kanalcodierung (Semantic Channel Coding, SCC), die die Robustheit gegenüber Fehlern erhöht, indem Hauptwörter durch längere Synonyme ersetzt werden; und 3) semantische Wissensvermittlung (Semantic Knowledge Distillation, SKD), die über In-Context-Lernen die sprachliche Stilvorliebe des Empfängers erfasst und darauf basierend anpassungsfähige, auf den Empfänger zugeschnittene Prompts generiert. In einer Kommunikationsaufgabe zur schrittweisen Text-zu-Bild-Generierung erreichen die vorgeschlagenen Methoden eine höhere perceptuelle Ähnlichkeit bei weniger Übertragungen und verbessern gleichzeitig die Robustheit in störungsanfälligen Kommunikationskanälen.