17일 전

언어 지향형 커뮤니케이션: 의미 코드화 및 지식 증류를 통한 텍스트-이미지 생성

Hyelin Nam, Jihong Park, Jinho Choi, Mehdi Bennis, Seong-Lyun Kim
언어 지향형 커뮤니케이션: 의미 코드화 및 지식 증류를 통한 텍스트-이미지 생성
초록

최근 대규모 언어 모델(Large Language Models, LLMs) 및 생성 모델의 발전을 새로운 의미 통신(Semantic Communication, SC) 패러다임에 통합함으로써, 본 논문에서는 언어 지향적 의미 통신(Language-oriented Semantic Communication, LSC)이라는 새로운 프레임워크를 제안한다. LSC에서는 기계 간 통신이 인간의 언어 메시지를 사용하며, 이 메시지는 자연어 처리(Natural Language Processing, NLP) 기법을 통해 해석하고 조작 가능하여 의미 통신의 효율성을 높일 수 있다. LSC의 잠재력을 입증하기 위해 세 가지 혁신적인 알고리즘을 도입한다. 첫째, 의미 소스 부호화(Semantic Source Coding, SSC)는 텍스트 프롬프트를 그 구문적 본질을 보존하는 핵심 키워드들로 압축하면서도 키워드들의 등장 순서를 유지하여 프롬프트의 맥락을 유지한다. 둘째, 의미 채널 부호화(Semantic Channel Coding, SCC)는 핵심 키워드들을 더 긴 길이의 동의어로 대체함으로써 오류에 대한 강건성을 향상시킨다. 셋째, 의미 지식 전이(Semantic Knowledge Distillation, SKD)는 리스너의 언어 스타일을 문맥 내 학습(inc-context learning)을 통해 파악하고, 이를 바탕으로 리스너 맞춤형 프롬프트를 생성한다. 점진적인 텍스트-이미지 생성을 위한 통신 과제에서 제안하는 방법들은 전송 횟수를 줄이면서도 더 높은 인지적 유사도를 달성하며, 노이즈가 있는 통신 채널에서도 강건성을 향상시킨다.

언어 지향형 커뮤니케이션: 의미 코드화 및 지식 증류를 통한 텍스트-이미지 생성 | 최신 연구 논문 | HyperAI초신경