初め！ GPT-2 は無線通信の物理層を強化し、北京大学チームは事前トレーニングされた LLM に基づくチャネル予測ソリューションを提案します
無線通信では、無線チャネルを介した信号伝送は通常、エネルギー減衰やノイズ干渉などの影響を受け、その結果、ユーザー側が受信する信号と基地局が送信する信号の間にある程度の変化が生じます。人々が旅行するとき、実際の道路の影響を受けて目的地に到着する時間は、予想される時間とは多少異なります。予想と実際の状況を一致させるには、移動時に正確な道路状態情報を把握し、信号伝送の精度と有効性を確保するために、正確なチャネル状態情報 (CSI) を把握し、元の伝送を復元する必要があります。受信側の信号に基づいて信号を生成します。
チャネル予測は、効率的な CSI 取得を実現するためのコア テクノロジーです。過去の CSI シーケンスに基づいて将来の CSI を予測するため、チャネル推定とフィードバックのオーバーヘッドを大幅に削減できます。特に 5G/6G MIMO 無線通信システムでは、チャネル予測が前例のない重要性を示しています。しかし、パラメータ化モデルや深層学習に基づく既存のチャネル予測手法には、予測精度の低さや汎化性の低さなどの問題が残されており、実際の複雑なチャネル環境に適用するのは困難です。
近年、自然言語処理などの分野における大規模言語モデル (LLM) の大きな成功により、これに注目する研究チームがますます増えています。ただし、通信タスクにおける大規模言語モデルの現在の適用は、言語プロトコルの理解などのタスクにまだ限定されており、非言語無線通信の物理層タスクを強化できるかどうかについては依然として疑問があります。
初め、チャネル状態情報は、複雑な「時空・周波数」の 3 次元関係を持つ高次元構造データであり、処理の複雑さが増大します。第二に、チャネルドメインの知識と自然言語ドメインの間にはドメインギャップがあり、知識の伝達の困難さがさらに高まります。
上記の課題を克服するために、北京大学電子学部の Cheng Xiang 氏のチームは、事前トレーニングされた大規模言語モデルに基づいた MIMO-OFDM チャネル予測スキーム LLM4CP を提案しました。TDD(Time Division Duplex)およびFDD(Frequency Division Duplex)通信システムに適用できます。
関連する結果は、ジャーナル「Journal of Communications and Information Networks」に「LLM4CP: Adapting Large Language Models for Channel Prediction」というタイトルで掲載されました。
具体的には、研究チームは、事前トレーニングされたGPT-2に基づいて、前処理モジュール、埋め込みモジュール、事前トレーニングされたLLMモジュール、出力モジュールを含むチャネル予測ニューラルネットワークを構築し、それによって大規模言語の予測能力を向上させました。チャネル予測のモデルと一般化機能により、実際のアプリケーション シナリオでの展開の可能性が高まります。
研究のハイライト:
* 初めて、事前トレーニングされた大規模言語モデルがチャネル予測タスクに適用され、事前トレーニングされた大規模言語モデルが自然言語形式を突破し、無線通信の物理層の設計を強化できることが証明されました。設計されたチャネル特徴強化ニューラル ネットワークは、チャネル空間と大規模モデル特徴空間を調整して、事前トレーニングされた大規模モデルの一般知識をチャネル予測タスクに適切に転送します。
*シミュレーション結果は、提案されたスキームがTDDおよびFDDチャネル予測タスクにおいて最も高度なフルサンプルおよび少数サンプルの予測パフォーマンスを達成し、その周波数汎化パフォーマンスが既存のスキームのそれに匹敵するパフォーマンスを大幅に上回っていることを示しています。小規模な深層学習モデルのトレーニングと推論の時間コスト。
用紙のアドレス:
https://ieeexplore.ieee.org/document/10582829
データセットのダウンロード:
オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、大規模なデータ セットとツールを提供します。
https://github.com/hyperai/awesome-ai4s
データセット: 完全に一貫性のある 3GPP 標準
研究の実験段階では、チームは、QuaDRiGa シミュレータを使用して、パフォーマンス検証のために 3GPP 標準に準拠した時変チャネル データ セットを生成しました。
研究チームは、基地局側に二重偏波 UPA (均一平面アレイ) を備え、ユーザー側に単一の全方向性アンテナを備えた MISO-OFDM システムをセットアップしました。アンテナ間隔は波長の半分です。中心周波数。アップリンクおよびダウンリンク チャネルの帯域幅は 8.64 MHz、パイロット周波数間隔は 180 kHz です。 TDD および FDD モードの場合、アップリンク チャネルとダウンリンク チャネルの中心周波数は両方とも 2.4 GHz に設定されます。 FDD モードの場合、アップストリーム チャネルとダウンストリーム チャネルは隣接しています。研究チームは予測実験においてパイロット周波数の間隔時間を0.5ミリ秒に設定した。
※TDD：通信システムの二重モードの一つで、移動体通信システムで受信チャネルと送信チャネルを分離するために使用されます。
* FDD: 2 つの別々の周波数 (特定の周波数間隔要件あり) で動作するアップリンク (移動局から基地局) とダウンリンク (基地局から移動局) を指します。
この研究では、3GPP 都市マクロ チャネル モデルと見通し外シナリオが考慮されています。クラスターの数は 21 で、各クラスター内のパスの数は 20 です。ユーザーの初期位置はランダム化され、移動軌跡は直線に設定されます。
トレーニング データ セットと検証データ セットには、それぞれ 8,000 サンプルと 1,000 サンプルが含まれています。ユーザーの速度は 10 ～ 100 km/h の間で均等に分布します。テスト データ セットには、10 km/h から 100 km/h までの範囲の 10 の速度が含まれており、速度ごとに 1,000 のサンプルが含まれています。
モデル アーキテクチャ: 大規模な言語モデルに基づくチャネル予測
既存のダウンリンク CSI 取得方法には 2 つの大きな欠点があります。1 つ目は、CSI 推定とフィードバック プロセスにより追加の計算コストと送信時間コストが発生し、非常に動的なシナリオでは「チャネル エージング」が発生することです。2 つ目は、追加のダウンリンク パイロットが時間周波数の一部を占有することです。リソースが減少すると、特に FDD システムのスペクトル効率が低下します。
本稿で提案するLLM4CPはLLMに基づくMISO-OFDMチャネル予測方法であり、過去の上りリンクCSIシーケンスに基づいて将来の下りリンクCSIシーケンスを予測する。ダウンリンクパイロットのオーバーヘッドとフィードバック遅延を効果的に回避できます。これは、上記の 2 つの欠点を解決するためのより実用的な方法を提供します。
テキストベースの事前トレーニング LLM を CSI データの複雑な行列形式に適応させるために、研究チームは、プリプロセッサ モジュール (Preprocessor)、埋め込みモジュール (Embedding)、次の図に示すように、事前トレーニング LLM モジュール (Pre-trained LLM) と出力モジュール (Output) です。
前処理モジュールは主に、CSI の複雑な「時空周波数」の 3 次元関係の高次元構造データを解決します。空域における高次元の問題を解決するために、チームはアンテナの寸法を並列化しました。つまり、送信アンテナと受信アンテナの各ペアの CSI を個別に予測することで、ネットワークのオーバーヘッドを削減しながら、タスクのスケーラビリティを向上させました。周波数領域の特性を完全に把握するために、チームはチャネルの構造特性を十分に考慮して、マルチパス遅延特性を直接特徴付けるために遅延領域（遅延ドメイン）を導入し、時間領域の特徴を効果的に抽出しました。ローカルな時間領域の変化特性を捕捉し、計算の複雑さを軽減する処理。
埋め込みモジュールの設計は、主に LLM 前の予備的な特徴抽出に使用されます。CSI アテンションと位置埋め込みを含みます。テキスト情報と CSI 情報には大きな違いがあるため、事前トレーニング済み LLM は非言語データを直接処理できません。そのため、研究チームは LLM の一般的なモデリング機能を使用してチャネル予測タスクを完了しようとしました。埋め込みモジュールは、前処理された特徴をさらに処理して、事前トレーニングされた LLM の特徴空間を調整し、ドメインの違いを克服するように設計されています。
この研究では、チームは、LLM バックボーン ネットワークとして GPT-2 を選択しました。 GPT-2 のバックボーンは、学習可能な位置埋め込みレイヤーとスタックされたトランスフォーマー デコーダーで構成されており、スタックの数と機能サイズは必要に応じて柔軟に調整できます。トレーニング プロセス中、事前トレーニングされた LLM のマルチヘッド アテンション層 (マルチヘッド アテンション) とフィードフォワード層 (フィードフォワード) は、一般的な知識を保持するために (上図の青いボックスに示すように) フリーズされたままになります。事前トレーニングされた LLM では、LLM をチャネル予測タスクに適応させるために、加算、レイヤー正規化 (加算とレイヤー正規化)、および位置の埋め込みが微調整されます。
この記事で提案されている方法では、チームが次のように指摘していることは注目に値します。GPT-2 バックボーンは、他の大規模な言語モデルと柔軟に置き換えることもできます。
最後に、出力モジュールは、LLM の出力特徴を最終的な予測結果に変換することを目的としています。
研究結果: LLM4CP の予測精度、達成可能レート、ビット誤り率は既存のソリューションより優れています
提案された方法の優位性を検証するために、研究チームはLLM4CPを、モデルまたは深層学習に基づくいくつかのチャネル予測方法と、PAD、RNN、LSTM、GRU、CNN、Transformerおよび予測なしを含む干渉のない条件と比較しました。比較では、NMSE (正規化二乗平均平方根誤差)、SE (スペクトル効率)、BER (ビット誤り率) という 3 つのパフォーマンス指標が設定されます。結果は、LLM4CPのチャネル予測精度、達成可能なレート、およびビット誤り率が既存のチャネル予測方式よりも優れていることを示しています。
研究チームは、LLM4CP の 3 つのパフォーマンス指標を、それぞれ TDD システムおよび FDD システムにおける他の手法と比較しました。
TDDシステムでは、LLM4CP の SE と BER のパフォーマンス指数は、それぞれ 7.036 bit·(s·Hz)⁻¹ と 0.0039 です。FDD方式では、以下に示すように、それらはそれぞれ 6.303 ビット・(s・Hz)⁻¹ と 0.0347 です。
TDD および FDD システムでは、LLM4CP は両方とも最先端の SE および BER パフォーマンスを実現します。
耐ノイズ堅牢性テストでは、LLM4CP が最も低い NMSE と最高の信号対雑音比を示し、CSI ノイズに対する高い堅牢性を示しています。以下に示すように:
少数のサンプルを使用したトレーニングは、モデルを迅速に展開するために重要な役割を果たします。チームは、提案された方法の学習能力を少数のサンプルでテストし、ネットワーク トレーニングには 10% データ セットのみを使用しました。完全なサンプル トレーニングと比較すると、他の方法に対する LLM4CP の利点は、少数サンプルの予測シナリオで明らかな利点を示します。
周波数ポイント一般化テストでは、チームは、TDD システムの 2.4 GHz 周波数ポイントでトレーニングされたモデルを、少ないトレーニングとゼロサンプルで 4.9 GHz 周波数ポイントに適用しました。その結果は、次のことを示しました。LLM4CP では、パラメトリック モデルの予測パフォーマンスを達成するために、30 という少数のサンプルのみが必要です。優れた汎化能力を証明しました。以下に示すように:
高性能かつ低コストの実現可能なソリューション
実際のシナリオでのモデルの実装の重要な部分はコスト投資です。この調査では、提案された手法を実際のシナリオに導入することの難しさを評価しました。関連する比較を次の図に示します。
PAD はモデルベースの手法であるため、モデル パラメーターの数が比較的少なく、トレーニング プロセスを必要としませんが、処理の複雑さが高いため、推論時間が最も長くなります。 LLM の推論時間は、Transformer と比較して大幅に短縮されます。したがって、LLM4CP には、リアルタイムのチャネル予測を提供する可能性もあります。
さらに、チームは、さまざまな数の GPT-2 レイヤーを選択した場合の、チャネル予測パフォーマンス、パラメーター コスト、および推論時間への影響も評価しました。以下に示すように:
10% トレーニング データ セットを使用した TDD システム設定でテストした場合、GPT-2 レイヤーの数が増加するにつれてネットワーク パラメーターと推論時間の両方が増加し、6 層のモデルのテスト範囲内で最高のパフォーマンスが得られることがわかりました。 GPT-2層。これは、実際の展開では、レイヤーが多いほど必ずしも予測に役立つわけではないことを意味します。LLM バックボーン ネットワークのタイプとサイズを選択するには、予測精度の要件と、デバイスのストレージとコンピューティング リソースの制約を考慮する必要があります。
AIが想像力豊かな無限のコミュニケーションを実現
特に現在の 5G 時代と将来の 6G 時代における無線通信の急速な発展に伴い、AI と通信を組み合わせる重要性は自明のことです。関連する技術分野では、AI技術の応用がすでに業界で広く注目され、研究が進められています。
たとえば、南京郵電大学のYang Lihua氏のチームが発表した「新しい深層学習ベースの時変チャネル予測法」というタイトルの以前の研究では、高速モバイルシナリオに適した深層学習に基づく時変チャネル予測方法を提案します。この方法は、オフライン トレーニングとオンライン予測のためのバック プロパゲーション (BP) ニューラル ネットワークに基づいています。この論文では、この方法は時変チャネル予測の精度を大幅に向上させることができ、計算の複雑さが低いと指摘しています。
* 紙のアドレス:
https://www.infocomm-journal.com/dxkx/CN/10.11959/j.issn.1000-0801.2021011
過去と異なるのは、この研究が初めて無線通信の物理層の設計に大規模な言語モデルを適用したことであり、これは間違いなく AI と通信技術の組み合わせに新たな前例を切り開くことになる。
論文で述べたように、過去の経験では、事前トレーニングされた大規模言語モデルを非自然言語タスクに適用したことはありません。これは前例のない成功した試みです。これは、事前トレーニングされた大規模な言語モデルが言語形式を突破してワイヤレス通信を強化できることを証明しています。
さらに言及する価値があるのは、この実験と試みを通じて、大きな言語モデルが確実にエンパワーメントの新たな章を開くだろうということです。同時に、大きな言語モデルのユニークな推論機能により、それが実現することを私たちはさらに確信できるようになります。 AI と垂直産業関連テクノロジーの統合により、AI を数千の産業に統合する近道が生まれます。