17日前

言語指向型コミュニケーションによる意味符号化と知識蒸留を活用したテキストから画像生成

Hyelin Nam, Jihong Park, Jinho Choi, Mehdi Bennis, Seong-Lyun Kim
言語指向型コミュニケーションによる意味符号化と知識蒸留を活用したテキストから画像生成
要約

大規模言語モデル(LLM)および生成モデルの最新の進展を、新たに登場した意味通信(SC)パラダイムに統合することにより、本稿では言語指向型意味通信(LSC)という新しいフレームワークを提案する。LSCでは、機械間の通信が人間の言語メッセージを用いて行われ、自然言語処理(NLP)技術により解釈・操作可能な形で行われることで、意味通信の効率性が向上する。LSCの潜在的可能性を示すために、以下の3つの革新的なアルゴリズムを導入する。1)意味的ソース符号化(SSC):テキストプロンプトをその構文的本質を捉えた主要語(ヘッドワード)に圧縮し、語順を保持することでプロンプトの文脈を維持する。2)意味的チャネル符号化(SCC):主要語をより長い同義語に置き換えることで、誤りに対する耐性を向上させる。3)意味的知識蒸留(SKD):リスナーの言語スタイルをコンテキスト内学習により把握し、リスナーに最適化されたプロンプトを生成する。プロンプトに基づく段階的テキストから画像への生成という通信タスクにおいて、提案手法は通信回数を削減しつつ、より高い知覚的類似性を達成するとともに、ノイズの多い通信チャネルにおける耐障害性も向上している。

言語指向型コミュニケーションによる意味符号化と知識蒸留を活用したテキストから画像生成 | 最新論文 | HyperAI超神経