17 天前

面向语言的文本到图像生成通信:语义编码与知识蒸馏方法

Hyelin Nam, Jihong Park, Jinho Choi, Mehdi Bennis, Seong-Lyun Kim
面向语言的文本到图像生成通信:语义编码与知识蒸馏方法
摘要

通过将大型语言模型(LLMs)与生成模型的最新进展融入新兴的语义通信(Semantic Communication, SC)范式,本文提出了一种面向语言的语义通信(Language-oriented Semantic Communication, LSC)新框架。在LSC框架中,机器之间通过人类语言消息进行通信,这些消息可借助自然语言处理(Natural Language Processing, NLP)技术进行解读与操作,从而提升语义通信的效率。为验证LSC的潜力,本文提出了三项创新算法:1)语义源编码(Semantic Source Coding, SSC),该方法将文本提示压缩为体现其句法核心的关键词,同时保持关键词的出现顺序,以保留原始提示的上下文语义;2)语义信道编码(Semantic Channel Coding, SCC),通过用更长的同义词替换关键词,增强通信在噪声环境下的抗错能力;3)语义知识蒸馏(Semantic Knowledge Distillation, SKD),利用上下文学习技术,根据接收方的语言风格生成定制化提示,实现个性化通信。在面向渐进式文本到图像生成的通信任务中,所提出的方法在显著减少传输次数的同时,实现了更高的感知相似性,并有效提升了在噪声通信信道中的鲁棒性。