첫 번째! GPT-2는 무선 통신의 물리적 계층을 강화하고 Peking University 팀은 사전 훈련된 LLM을 기반으로 하는 채널 예측 솔루션을 제안합니다.
무선 통신에서 무선 채널을 통해 전송되는 신호는 일반적으로 에너지 감쇠, 잡음 간섭 등의 영향을 받아 사용자가 수신하는 신호와 기지국에서 보내는 신호 사이에 어느 정도 차이가 발생합니다. 이는 사람들이 여행을 할 때 실제 도로 상황에 영향을 받아 목적지에 도착하는 시간이 예상과 다른 것과 같습니다. 예상과 실제 상황이 일치하도록 하려면 여행할 때 정확한 도로 상태 정보를 이해하는 것이 필요합니다. 무선 통신에서 신호 전송의 정확성과 효과성을 확보하기 위해서는 정확한 채널 상태 정보(CSI)를 파악하고, 수신 신호를 기반으로 원래 전송된 신호를 복원하는 것이 필수적이다.
채널 예측은 효율적인 CSI 수집을 달성하는 핵심 기술입니다.이 기술은 과거 순간의 CSI 시퀀스를 기반으로 미래의 CSI를 예측하는데, 이를 통해 채널 추정과 피드백 오버헤드를 크게 줄일 수 있습니다. 특히 5G/6G MIMO 무선 통신 시스템의 경우 채널 예측이 전례 없는 중요성을 보였습니다. 그러나 매개변수화된 모델과 딥러닝을 기반으로 한 기존의 채널 예측 방법은 여전히 예측 정확도가 낮고 일반화가 잘 되지 않는 등의 문제점을 가지고 있어 실제 복잡한 채널 환경에 적용하기 어렵습니다.
최근 몇 년 동안 자연어 처리와 같은 분야에서 대규모 언어 모델(LLM)이 큰 성공을 거두면서 점점 더 많은 연구팀이 이에 주목하고 있습니다. 그러나 현재 통신 작업에 대규모 언어 모델을 적용하는 것은 언어 기반 프로토콜 이해와 같은 작업에만 국한되어 있으며, 이것이 언어가 아닌 무선 통신 물리 계층 작업을 수행할 수 있는지에 대한 의문이 있습니다.
첫 번째,채널 상태 정보는 복잡한 "공간-시간-주파수" 3차원 관계를 갖는 고차원 구조화 데이터이므로 처리 복잡성이 증가합니다.둘째,채널 도메인의 지식과 자연어 도메인의 지식 사이에 도메인 격차가 존재하며, 이로 인해 지식 전달의 어려움이 더욱 커집니다.
위의 과제를 극복하기 위해,베이징대학교 전자공학과의 정샹(Cheng Xiang) 연구팀은 사전 학습된 대규모 언어 모델을 기반으로 하는 MIMO-OFDM 채널 예측 방식인 LLM4CP를 제안했습니다.TDD(시분할 이중 방식) 및 FDD(주파수 분할 이중 방식) 통신 시스템에 적용될 수 있습니다.
관련 결과는 "LLM4CP: 채널 예측을 위한 대규모 언어 모델 적용"이라는 제목으로 "통신 및 정보 네트워크 저널" 저널에 게재되었습니다.
구체적으로 연구팀은 사전 학습된 GPT-2를 기반으로 전처리 모듈, 임베딩 모듈, 사전 학습된 LLM 모듈, 출력 모듈을 포함하는 채널 예측 신경망을 구축하여 채널 예측에서 대규모 언어 모델의 예측 및 일반화 기능을 향상시키고 실제 응용 시나리오에서의 배포 가능성을 높였습니다.
연구 하이라이트:
* 사전 학습된 대규모 언어 모델을 채널 예측 작업에 처음으로 적용하여 사전 학습된 대규모 언어 모델이 자연어 형태를 돌파하고 무선 통신의 물리 계층 설계를 가능하게 할 수 있음을 증명했습니다. * 설계된 채널 특징 향상 신경망은 채널 공간을 대규모 모델 특징 공간에 맞춰 채널 예측 작업에 사전 학습된 대규모 모델의 일반 지식을 양호하게 전달했습니다.
* 시뮬레이션 결과는 제안된 방식이 TDD 및 FDD 채널 예측 작업에서 가장 진보된 전체 샘플 및 소수 샘플 예측 성능을 달성하고, 주파수 일반화 성능이 기존 방식보다 상당히 앞서는 반면, 소규모 딥러닝 모델과 동일한 학습 및 추론 시간 비용을 갖는 것을 보여줍니다.
서류 주소:
https://ieeexplore.ieee.org/document/10582829
데이터세트 다운로드:
오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.
https://github.com/hyperai/awesome-ai4s
데이터 세트: 완벽하게 호환됨 3GPP 기준
연구의 실험 단계에서,이 팀은 QuaDRiGa 시뮬레이터를 사용하여 성능 검증을 위한 3GPP 표준을 준수하는 시간 가변 채널 데이터 세트를 생성했습니다.
연구팀은 기지국 측에 이중 편파 UPA(균일 평면 배열)와 사용자 측에 단일 전방향 안테나를 갖춘 MISO-OFDM 시스템을 구축했으며, 안테나 간격은 중심 주파수에서 파장의 절반이 되도록 했습니다. 상향링크와 하향링크 채널의 대역폭은 모두 8.64MHz이고, 파일럿 주파수 간격은 180kHz입니다. TDD와 FDD 모드 모두 업링크와 다운링크 채널의 중심 주파수는 2.4GHz로 설정됩니다. FDD 모드의 경우 업링크와 다운링크 채널이 인접합니다. 연구팀은 예측 실험에서 파일럿 주파수 간격을 0.5ms로 설정했습니다.
* TDD: 이동통신 시스템에서 수신 및 송신 채널을 분리하는 데 사용되는 이중 모드 통신 시스템입니다.
* FDD: 두 개의 별도 주파수(특정 주파수 간격 요구 사항 있음)에서 작동하는 업링크(이동국에서 기지국으로)와 다운링크(기지국에서 이동국으로)를 말합니다.
이 연구에서는 3GPP 도시 거시 채널 모델과 비가시선 시나리오를 고려했습니다. 클러스터의 수는 21이고, 각 클러스터의 경로 수는 20입니다. 사용자의 초기 위치는 무작위로 지정되고 동작 궤적은 선형으로 설정됩니다.
훈련 데이터 세트와 검증 데이터 세트에는 각각 8,000개와 1,000개의 샘플이 포함되어 있습니다.사용자 속도는 10~100km/h로 균등하게 분포됩니다. 테스트 데이터 세트에는 10km/h에서 100km/h까지의 속도 10개가 포함되어 있으며, 각 속도마다 1,000개의 샘플이 있습니다.
모델 아키텍처: 대규모 언어 모델 기반 채널 예측
기존의 하향링크 CSI 캡처 방법에는 두 가지 주요 단점이 있습니다. 첫째, CSI 추정 및 피드백 프로세스에서 추가적인 컴퓨팅 및 전송 시간 비용이 발생하여 동적 시나리오에서 "채널 노후화"가 발생합니다. 둘째, 추가적인 하향링크 파일럿은 시간-주파수 자원의 일부를 차지하는데, 이는 특히 FDD 시스템의 스펙트럼 효율성을 감소시킵니다.
본 논문에서 제안하는 LLM4CP는 LLM 기반 MISO-OFDM 채널 예측 방법이다. 과거 상향링크 CSI 시퀀스를 기반으로 향후 하향링크 CSI 시퀀스를 예측합니다.이를 통해 다운링크 파일럿 오버헤드와 피드백 지연을 효과적으로 방지할 수 있습니다.이는 위의 두 가지 단점을 해결하는 데 더 실용적인 접근 방식을 제공합니다.
연구팀은 텍스트 기반의 사전 학습된 LLM을 CSI 데이터의 복잡한 행렬 형식에 맞게 조정하기 위해 다음 그림과 같이 전처리 모듈(Preprocessor), 임베딩 모듈(Embedding), 사전 학습된 LLM 모듈(Pre-trained LLM) 및 출력 모듈(Output)을 포함하여 형식 변환 및 기능 추출을 위한 LLM4CP용 특정 모듈을 설계했습니다.
전처리 모듈은 주로 CSI의 복잡한 "공간-시간-주파수" 3차원 관계의 고차원 구조화된 데이터를 해결합니다.공간 영역에서 고차원 문제를 해결하기 위해 연구팀은 안테나 차원을 병렬화했습니다. 즉, 각 송신 안테나와 수신 안테나 쌍의 CSI를 별도로 예측하여 네트워크 오버헤드를 줄이는 동시에 작업의 확장성을 개선했습니다. 주파수 영역 특성을 완벽하게 포착하기 위해 팀은 채널 구조적 특성을 완전히 고려하고 지연 영역을 도입하여 다중 경로 지연 특성을 직접 특성화했습니다. 시간 영역 특징을 효과적으로 추출하기 위해 팀은 블록 처리를 채택하여 로컬 시간 영역 변화 특성을 포착하고 계산 복잡도를 줄였습니다.
임베딩 모듈의 설계는 주로 LLM 이전의 예비적 특징 추출에 사용됩니다.CSI 주의와 위치 임베딩을 포함합니다. 텍스트 정보와 CSI 정보 간의 차이가 크기 때문에 사전 훈련된 LLM은 비언어 데이터를 직접 처리할 수 없습니다. 따라서 연구팀은 LLM의 일반적인 모델링 능력을 활용하여 채널 예측 작업을 완료하려고 시도했습니다. 임베디드 모듈은 사전 처리된 기능을 추가로 처리하여 사전 학습된 LLM의 기능 공간을 정렬하고 도메인 차이를 극복하도록 설계되었습니다.
이 연구에서는팀은 LLM 백본 네트워크로 GPT-2를 선택했습니다. GPT-2의 백본은 학습 가능한 위치 임베딩 계층과 스택형 트랜스포머 디코더로 구성되며, 스택 수와 피처 크기는 필요에 따라 유연하게 조정할 수 있습니다. 학습 과정에서 사전 학습된 LLM의 멀티헤드 어텐션 계층과 피드포워드 계층은 (위 그림의 파란색 상자에 표시된 대로) 동결된 상태로 유지되어 사전 학습된 LLM의 일반 지식을 유지하는 반면, 추가, 계층 정규화 및 위치 임베딩은 LLM을 채널 예측 작업에 맞게 미세 조정합니다.
이 논문에서 제안한 방법에서 팀은 다음과 같은 점을 지적한 것이 주목할 만하다.GPT-2 백본 네트워크는 다른 대규모 언어 모델로 유연하게 대체될 수도 있습니다.
마지막으로, 출력 모듈은 LLM의 출력 특징을 최종 예측 결과로 변환하는 것을 목표로 합니다.
연구 결과: LLM4CP의 예측 정확도, 달성 가능 속도, 비트 오류율은 기존 솔루션보다 우수합니다.
연구팀은 제안된 방법의 우수성을 검증하기 위해 LLM4CP를 PAD, RNN, LSTM, GRU, CNN, Transformer, 예측 없음 등의 모델이나 딥러닝 및 간섭 없는 조건에 기반한 여러 채널 예측 방법과 비교하고, NMSE(정규화 평균 제곱 오차), SE(스펙트럼 효율), BER(비트 오류율)의 세 가지 성능 지표를 설정했습니다. 실험 결과에 따르면 LLM4CP의 채널 예측 정확도, 달성 가능 속도 및 비트 오류율은 기존 채널 예측 방식보다 우수한 것으로 나타났다.
연구팀은 TDD 및 FDD 시스템에서 LLM4CP의 세 가지 성능 지표를 다른 방법과 비교했습니다.
TDD 시스템에서는LLM4CP의 SE 및 BER 성능 지수는 각각 7.036비트·(s·Hz)⁻¹ 및 0.0039입니다.FDD 시스템에서는아래 그림에서 볼 수 있듯이 각각 6.303 bit·(s·Hz)⁻¹ 및 0.0347입니다.
TDD 및 FDD 시스템에서는LLM4CP는 최첨단 SE 및 BER 성능을 달성합니다.
잡음 강건성 테스트에서 LLM4CP는 가장 높은 신호 대 잡음비와 가장 낮은 NMSE를 나타내어 CSI 잡음에 매우 강하다는 것을 나타냅니다. 다음 그림과 같이:
적은 수의 샘플로 학습하는 것은 모델을 빠르게 배포하는 데 중요한 역할을 합니다. 연구팀은 네트워크 학습을 위해 10% 데이터 세트만을 사용하여 소수의 샘플로 학습할 수 있는 제안된 방법의 능력을 테스트했습니다. 전체 샘플 훈련과 비교했을 때,LLM4CP가 다른 방법에 비해 갖는 장점은 소수 샘플 예측 시나리오에서 명백하게 드러납니다.
주파수 일반화 테스트에서 연구팀은 TDD 시스템에서 2.4GHz로 훈련된 모델을 훈련 횟수를 줄이고 샘플도 0으로 하여 4.9GHz 주파수에 적용했습니다. 결과는 다음과 같습니다.LLM4CP는 매개변수화된 모델의 예측 성능을 달성하는 데 30개라는 소수의 샘플만 필요합니다.이는 우수한 일반화 능력을 입증했습니다. 다음 그림과 같이:
고성능과 저비용을 갖춘 실행 가능한 솔루션
비용 투자는 실제 시나리오에서 모델을 구현하는 데 있어 중요한 연결 고리입니다. 이 연구에서는 제안된 방법을 실제 시나리오에 적용하는 데 어려움이 있는지 평가했습니다. 관련 비교는 다음 그림에 나와 있습니다.
PAD는 모델 기반 방법이기 때문에 모델 매개변수의 수가 비교적 적고 학습 과정이 필요하지 않지만, 처리 복잡도가 높아 추론 시간이 가장 깁니다. LLM의 추론 시간은 Transformer에 비해 크게 단축되었습니다.따라서 LLM4CP는 실시간 채널 예측에도 활용할 수 있는 잠재력을 가지고 있습니다.
또한, 연구팀은 다양한 수의 GPT-2 계층을 선택하는 것이 채널 예측 성능, 매개변수 비용, 추론 시간에 미치는 영향을 평가했습니다. 다음 그림과 같이:
TDD 시스템 설정에서 10% 학습 데이터 세트로 테스트할 때, 네트워크 매개변수와 추론 시간 모두 GPT-2 계층의 수가 증가함에 따라 증가했으며, 6개의 GPT-2 계층이 있는 모델의 테스트 범위 내에서 가장 좋은 성능을 보였습니다. 즉, 예측에 있어서 레이어가 많아지는 것이 반드시 유익한 것은 아닙니다. 실제 배포에서는 LLM 백본 네트워크의 유형과 크기는 예측 정확도 요구 사항과 장치 저장 및 컴퓨팅 리소스의 제약 조건에 따라 선택해야 합니다.
AI, 상상으로 가득한 무한한 소통을 실현하다
특히 현재 5G 시대와 향후 6G 시대를 맞아 무선 통신이 급속히 발전함에 따라, AI와 통신을 결합하는 것의 중요성은 자명해졌습니다. 관련 기술 분야에서는 AI 기술의 적용이 이미 업계에서 폭넓은 관심과 연구를 받고 있습니다.
예를 들어, "새로운 딥 러닝 기반 시간 가변 채널 예측 방법"이라는 제목의 연구는 이전에 난징 우편통신대학의 양리화(Yang Lihua) 팀에서 발표했습니다.고속 모바일 시나리오에 적합한 딥 러닝 기반 시간 변화 채널 예측 방법이 제안됩니다.이 방법은 오프라인 학습과 온라인 예측을 수행하는 역전파(BP) 신경망을 기반으로 합니다. 이 논문에서는 이 방법이 시간에 따라 변하는 채널의 예측 정확도를 크게 향상시킬 수 있으며 계산 복잡도가 낮다고 지적합니다.
* 서류 주소:
https://www.infocomm-journal.com/dxkx/CN/10.11959/j.issn.1000-0801.2021011
이번 연구가 기존 연구와 다른 점은 무선 통신의 물리적 계층 설계에 대규모 언어 모델을 적용한 최초의 연구라는 점입니다. 이는 AI와 통신 기술의 결합에 대한 선례를 여는 데 의심의 여지가 없습니다.
논문에서 언급했듯이, 과거에는 사전 훈련된 대규모 언어 모델을 비자연어 작업에 적용하여 성공적인 시도가 없었습니다.이는 사전 훈련된 대규모 언어 모델이 언어 형태를 깨고 무선 통신을 구현할 수 있음을 증명합니다.
더욱 언급할 가치가 있는 점은 이러한 실험과 시도를 통해 대규모 언어 모델이 확실히 역량 강화의 새로운 장을 열 것이라는 점입니다. 동시에, 대언어모델의 독특한 추론 능력의 도움으로 AI와 수직 산업 관련 기술의 통합이 필연적으로 가속화될 것이라는 확신을 더욱 가질 수 있게 되었고, 이를 통해 AI와 수천 개의 산업을 결합하는 지름길을 찾을 수 있게 되었습니다.