أولاً! يعمل GPT-2 على تمكين الطبقة المادية للاتصالات اللاسلكية، ويقترح فريق جامعة بكين حلاً للتنبؤ بالقناة يعتمد على LLM المدرب مسبقًا
في الاتصالات اللاسلكية، عادة ما تتأثر الإشارات المرسلة عبر القنوات اللاسلكية بتوهين الطاقة وتداخل الضوضاء وما إلى ذلك، مما يؤدي إلى درجة معينة من الاختلاف بين الإشارة التي يتلقاها المستخدم والإشارة التي ترسلها المحطة الأساسية، تمامًا كما هو الحال عندما يسافر الأشخاص، فإنهم يتأثرون بظروف الطريق الفعلية وسيكون الوقت الذي يصلون فيه إلى وجهتهم مختلفًا عن التوقعات. ولضمان توافق التوقعات مع الظروف الفعلية، فمن الضروري فهم معلومات دقيقة عن حالة الطريق عند السفر. في الاتصالات اللاسلكية، لضمان دقة وفعالية نقل الإشارة، من الضروري فهم معلومات حالة القناة الدقيقة (CSI) واستعادة الإشارة المرسلة الأصلية بناءً على الإشارة المستقبلة.
يعد التنبؤ بالقناة تقنية أساسية لتحقيق اكتساب CSI بكفاءة.إنه يتنبأ بـ CSI المستقبلي استنادًا إلى تسلسل CSI في اللحظات التاريخية، مما قد يقلل بشكل كبير من تقدير القناة ونفقات التغذية الراجعة. بالنسبة لأنظمة الاتصالات اللاسلكية MIMO 5G/6G، أظهرت عملية التنبؤ بالقناة أهمية غير مسبوقة. ومع ذلك، لا تزال طرق التنبؤ بالقنوات الحالية القائمة على النماذج المعلمة والتعلم العميق تعاني من مشاكل مثل انخفاض دقة التنبؤ وضعف التعميم، مما يجعل من الصعب تطبيقها على بيئات القنوات المعقدة الفعلية.
في السنوات الأخيرة، ومع النجاح الكبير الذي حققته نماذج اللغة الكبيرة (LLM) في مجالات مثل معالجة اللغة الطبيعية، ركزت المزيد والمزيد من فرق البحث اهتمامها على هذا. ومع ذلك، فإن التطبيق الحالي للنماذج اللغوية الكبيرة في مهام الاتصال لا يزال يقتصر على مهام مثل فهم البروتوكول القائم على اللغة، وهناك شكوك حول ما إذا كانت قادرة على تمكين مهام الطبقة المادية للاتصالات اللاسلكية غير اللغوية.
أولاً،معلومات حالة القناة عبارة عن بيانات منظمة عالية الأبعاد ذات علاقات ثلاثية الأبعاد معقدة بين "الزمان والمكان والتردد"، مما يزيد من تعقيد المعالجة؛ثانيًا،هناك فجوة في المجال بين المعرفة في مجال القناة ومجال اللغة الطبيعية، مما يزيد من صعوبة نقل المعرفة.
وللتغلب على التحديات المذكورة أعلاه،اقترح فريق تشنغ شيانغ من كلية الإلكترونيات بجامعة بكين مخطط تنبؤ بقناة MIMO-OFDM LLM4CP يعتمد على نموذج لغوي كبير مدرب مسبقًا.يمكن تطبيقه على أنظمة الاتصالات TDD (تقسيم الوقت المزدوج) وFDD (تقسيم التردد المزدوج).
وقد نشرت النتائج ذات الصلة في مجلة "مجلة الاتصالات وشبكات المعلومات" تحت عنوان "LLM4CP: تكييف نماذج اللغة الكبيرة للتنبؤ بالقناة".
على وجه التحديد، قام فريق البحث ببناء شبكة عصبية للتنبؤ بالقناة تعتمد على GPT-2 المدرب مسبقًا، والتي تتضمن وحدة معالجة مسبقة، ووحدة تضمين، ووحدة LLM مدربة مسبقًا، ووحدة إخراج، وبالتالي تحسين قدرات التنبؤ والتعميم لنموذج اللغة الكبير في التنبؤ بالقناة، مما يخلق المزيد من الاحتمالات للنشر في سيناريوهات التطبيق الفعلية.
أبرز الأبحاث:
* لأول مرة، تم تطبيق نموذج اللغة الكبيرة المدرب مسبقًا على مهمة التنبؤ بالقناة، مما يثبت أن نموذج اللغة الكبيرة المدرب مسبقًا يمكنه اختراق شكل اللغة الطبيعية وتمكين تصميم الطبقة المادية للاتصالات اللاسلكية * تعمل شبكة تحسين ميزات القناة المصممة على محاذاة مساحة القناة مع مساحة ميزات النموذج الكبيرة، مما يحقق نقلًا جيدًا للمعرفة العامة للنموذج الكبير المدرب مسبقًا في مهمة التنبؤ بالقناة
* تظهر نتائج المحاكاة أن المخطط المقترح يحقق الأداء الأكثر تقدمًا للتنبؤ بالعينة الكاملة والعينات القليلة في مهام التنبؤ بقنوات TDD وFDD، كما أن أداء تعميم التردد متقدم بشكل كبير على المخططات الحالية، مع وجود نفس تكلفة وقت التدريب والاستدلال مثل نموذج التعلم العميق الصغير.
عنوان الورقة:
https://ieeexplore.ieee.org/document/10582829
تنزيل مجموعة البيانات:
يجمع المشروع المفتوح المصدر "awesome-ai4s" أكثر من مائة تفسير ورقي لـ AI4S ويوفر مجموعات وأدوات ضخمة من البيانات:
https://github.com/hyperai/awesome-ai4s
مجموعة البيانات: متوافقة تمامًا 3GPP معيار
خلال المرحلة التجريبية من الدراسة،استخدم الفريق محاكي QuaDRiGa لإنشاء مجموعة بيانات قناة متغيرة مع مرور الوقت تتوافق مع معيار 3GPP للتحقق من الأداء.
قام الفريق بإنشاء نظام MISO-OFDM مع UPA ثنائي الاستقطاب (مجموعة مستوية موحدة) على جانب المحطة الأساسية وهوائي متعدد الاتجاهات واحد على جانب المستخدم، مع تباعد الهوائي بمقدار نصف الطول الموجي عند التردد المركزي. يبلغ عرض النطاق الترددي لكل من قنوات الارتباط الصاعد والهابط 8.64 ميجا هرتز، وتبلغ المسافة بين الترددات التجريبية 180 كيلو هرتز. بالنسبة لوضعي TDD وFDD، يتم ضبط التردد المركزي لكل من قنوات الارتباط الصاعد والهابط على 2.4 جيجاهرتز. بالنسبة لوضع FDD، تكون قنوات الارتباط الصاعد والهابط متجاورة. قام فريق البحث بضبط الفاصل الزمني للتردد التجريبي عند 0.5 مللي ثانية في تجربة التنبؤ.
* TDD: هو نظام اتصال ثنائي الاتجاه، يستخدم لفصل قنوات الاستقبال والإرسال في أنظمة الاتصالات المتنقلة.
* FDD: يشير إلى الارتباط الصاعد (من محطة متنقلة إلى محطة أساسية) والارتباط الهابط (من محطة أساسية إلى محطة متنقلة) يعملان على ترددين منفصلين (مع متطلبات تباعد ترددات معينة).
تناولت الدراسة نموذج القناة الحضرية الكبرى 3GPP والسيناريوهات غير المباشرة. عدد المجموعات هو 21، وعدد المسارات في كل مجموعة هو 20. يتم تعيين الموضع الأولي للمستخدم بشكل عشوائي ويتم ضبط مسار الحركة على خطي.
تحتوي مجموعة بيانات التدريب ومجموعة بيانات التحقق على 8000 و1000 عينة على التوالي.يتم توزيع سرعة المستخدم بالتساوي بين 10 و 100 كم / ساعة. تحتوي مجموعة بيانات الاختبار على 10 سرعات تتراوح من 10 كم/ساعة إلى 100 كم/ساعة، مع 1000 عينة لكل سرعة.
هندسة النموذج: التنبؤ بالقناة بناءً على نموذج لغوي كبير
تحتوي طرق التقاط CSI للرابط الهابط الحالية على عيبين رئيسيين: أولاً، ستتسبب عملية تقدير CSI والتغذية الراجعة في تكاليف إضافية للحوسبة ووقت الإرسال، مما يؤدي إلى "شيخوخة القناة" في السيناريوهات عالية الديناميكية؛ ثانياً، يشغل الطيار الإضافي للرابط الهابط جزءاً من موارد الوقت والتردد، مما سيؤدي بشكل خاص إلى تقليل كفاءة الطيف لنظام FDD.
إن LLM4CP المقترح في هذه الورقة هو طريقة التنبؤ بقناة MISO-OFDM استنادًا إلى LLM. إنه يتنبأ بتسلسل CSI للرابط الهابط المستقبلي استنادًا إلى تسلسل CSI للرابط الصاعد التاريخي.يمكنه تجنب تكلفة الطيار الهابط وتأخير ردود الفعل بشكل فعال.وهو يوفر نهجا أكثر عملية لحل القصورين المذكورين أعلاه.
من أجل تكييف LLM المدرب مسبقًا القائم على النص مع تنسيق المصفوفة المعقدة لبيانات CSI، صمم فريق البحث وحدات محددة لـ LLM4CP لتحويل التنسيق واستخراج الميزات، بما في ذلك وحدة المعالجة المسبقة (Preprocessor)، ووحدة التضمين (Embedding)، ووحدة LLM المدربة مسبقًا (Pre-trained LLM) ووحدة الإخراج (Output)، كما هو موضح في الشكل التالي:
تعمل وحدة المعالجة المسبقة بشكل أساسي على حل البيانات المنظمة عالية الأبعاد للعلاقة ثلاثية الأبعاد المعقدة "الزمان والمكان والتردد" في CSI.ولحل مشكلة الأبعاد العالية في المجال المكاني، قام الفريق بموازاة بُعد الهوائي، أي التنبؤ بمؤشر كتلة الجسم لكل زوج من هوائيات الإرسال وهوائيات الاستقبال بشكل منفصل، وبالتالي تقليل النفقات العامة للشبكة مع تحسين قابلية توسيع نطاق المهمة؛ لالتقاط خصائص مجال التردد بالكامل، قام الفريق بدراسة خصائص القناة بشكل كامل وقدم مجال التأخير لتوصيف خصائص تأخير المسارات المتعددة بشكل مباشر؛ لاستخراج ميزات المجال الزمني بشكل فعال، اعتمد الفريق معالجة الكتل لالتقاط خصائص تغيير المجال الزمني المحلي وتقليل التعقيد الحسابي.
يتم استخدام تصميم وحدة التضمين بشكل أساسي لاستخراج الميزات الأولية قبل الحصول على درجة الماجستير في القانون.بما في ذلك الاهتمام بـ CSI والتضمينات الموضعية. بسبب الاختلافات الكبيرة بين معلومات النص ومعلومات CSI، لا يمكن لبرنامج LLM المدرب مسبقًا معالجة البيانات غير اللغوية بشكل مباشر. لذلك، حاول فريق البحث استخدام قدرات النمذجة العامة لـ LLM لإكمال مهمة التنبؤ بالقناة. تم تصميم الوحدة المضمنة لمعالجة الميزات التي تمت معالجتها مسبقًا بشكل أكبر لمواءمة مساحة الميزات الخاصة بـ LLM المدرب مسبقًا والتغلب على اختلاف المجال.
في هذه الدراسة،وقد اختار الفريق GPT-2 كشبكة أساسية لـ LLM. يتكون العمود الفقري لـ GPT-2 من طبقات تضمين موضعية قابلة للتعلم ومفككات محولات مكدسة، حيث يمكن تعديل عدد المكدسات وأحجام الميزات بشكل مرن حسب الحاجة. أثناء عملية التدريب، يتم إبقاء طبقة الاهتمام متعددة الرؤوس وطبقة التغذية الأمامية لـ LLM المدربة مسبقًا مجمدة (كما هو موضح في المربع الأزرق في الشكل أعلاه) للاحتفاظ بالمعرفة العامة في LLM المدربة مسبقًا، بينما يتم ضبط الإضافة وتطبيع الطبقة وتضمين الموضع لتكييف LLM مع مهمة التنبؤ بالقناة.
ومن الجدير بالذكر أن الفريق أشار إلى أنه في الطريقة المقترحة في هذه الورقة،يمكن أيضًا استبدال شبكة العمود الفقري GPT-2 بشكل مرن بنماذج لغوية كبيرة أخرى.
وأخيرا، تهدف وحدة الإخراج إلى تحويل ميزات إخراج LLM إلى نتائج التنبؤ النهائية.
نتائج البحث: دقة التنبؤ ومعدل التحقيق ومعدل الخطأ في البتات في LLM4CP أفضل من الحلول الحالية
من أجل التحقق من تفوق الطريقة المقترحة، قام فريق البحث بمقارنة LLM4CP مع العديد من طرق التنبؤ بالقناة بناءً على نماذج التعلم العميق وظروف خالية من التداخل، بما في ذلك PAD وRNN وLSTM وGRU وCNN والمحول وعدم التنبؤ، ووضع ثلاثة مؤشرات للأداء، وهي NMSE (خطأ متوسط التربيع الطبيعي)، SE (كفاءة الطيف) وBER (معدل خطأ البت). تظهر النتائج أن دقة التنبؤ بالقناة ومعدل التحقيق ومعدل خطأ البت لـ LLM4CP أفضل من تلك الخاصة بمخططات التنبؤ بالقناة الحالية.
قام فريق البحث بمقارنة ثلاثة مؤشرات أداء لـ LLM4CP مع طرق أخرى في أنظمة TDD و FDD.
في نظام TDD،مؤشرات أداء SE وBER لـ LLM4CP هي 7.036 bit·(s·Hz)⁻¹ و0.0039، على التوالي؛في نظام FDD،وهما 6.303 بت (ثانية/هرتز)⁻¹ و0.0347 على التوالي، كما هو موضح في الشكل أدناه:
في أنظمة TDD وFDD،يحقق برنامج LLM4CP أداء SE وBER متطورًا للغاية.
في اختبار قوة تحمل الضوضاء، يظهر LLM4CP أعلى نسبة إشارة إلى ضوضاء مع أقل NMSE، مما يشير إلى أنه قوي للغاية في مواجهة ضوضاء CSI. كما هو موضح في الشكل التالي:
يلعب التدريب باستخدام عدد صغير من العينات دورًا حاسمًا في النشر السريع للنماذج. قام الفريق باختبار قدرة الطريقة المقترحة على التعلم باستخدام عدد صغير من العينات، باستخدام مجموعة البيانات 10% فقط لتدريب الشبكة. بالمقارنة مع تدريب العينة الكاملة،إن مزايا LLM4CP مقارنة بالطرق الأخرى واضحة في سيناريو التنبؤ بالعينة القليلة.
وفي اختبار تعميم التردد، قام الفريق بتطبيق النموذج المدرب على تردد 2.4 جيجاهرتز في نظام TDD على تردد 4.9 جيجاهرتز مع تدريب أقل وعينات صفرية. وأظهرت النتائج أنتحتاج LLM4CP فقط إلى عدد صغير من العينات، 30، لتحقيق الأداء التنبئي للنموذج المعلم.وقد أثبتت قدرتها الممتازة على التعميم. كما هو موضح في الشكل التالي:
حل قابل للتطبيق مع أداء عالي وتكلفة منخفضة
ويشكل الاستثمار في التكلفة حلقة وصل رئيسية في تنفيذ النموذج في السيناريوهات الفعلية. قامت الدراسة بتقييم صعوبة نشر الطريقة المقترحة في السيناريوهات الفعلية. وتظهر المقارنة ذات الصلة في الشكل التالي:
نظرًا لأن PAD هي طريقة تعتمد على النموذج، فإن عدد معلمات النموذج صغير نسبيًا ولا يتطلب أي عملية تدريب، ولكنها تتمتع بأطول وقت استدلال بسبب تعقيد المعالجة العالي. يتم تقليص وقت التفكير في LLM بشكل كبير مقارنةً بـ Transformer.لذلك، فإن LLM4CP لديه أيضًا القدرة على تقديم التنبؤ بالقناة في الوقت الفعلي.
بالإضافة إلى ذلك، قام الفريق أيضًا بتقييم تأثير اختيار أعداد مختلفة من طبقات GPT-2 على أداء التنبؤ بالقناة وتكلفة المعلمات ووقت الاستدلال. كما هو موضح في الشكل التالي:
عند الاختبار باستخدام مجموعة بيانات التدريب 10% في إعداد نظام TDD، وجد أن كل من معلمات الشبكة ووقت الاستدلال زادا مع عدد طبقات GPT-2، وأديا بشكل أفضل ضمن نطاق اختبار نموذج يحتوي على 6 طبقات GPT-2. وهذا يعني أن وجود طبقات أكثر ليس بالضرورة مفيداً للتنبؤ. في النشر الفعلي، يجب تحديد نوع وحجم شبكة العمود الفقري LLM بناءً على متطلبات دقة التنبؤ وقيود تخزين الجهاز وموارد الحوسبة.
الذكاء الاصطناعي يجعل التواصل غير محدود ومليئًا بالخيال
مع التطور السريع للاتصالات اللاسلكية، وخاصة في عصر 5G الحالي وعصر 6G المستقبلي، أصبحت أهمية الجمع بين الذكاء الاصطناعي والاتصالات واضحة. وفي المجالات التقنية ذات الصلة، حظي تطبيق تكنولوجيا الذكاء الاصطناعي بالفعل باهتمام وبحث واسع النطاق في الصناعة.
على سبيل المثال، تم نشر دراسة بعنوان "طريقة جديدة للتنبؤ بالقنوات المتغيرة بمرور الوقت تعتمد على التعلم العميق" من قبل فريق يانغ لي هوا في جامعة نانجينغ للبريد والاتصالات.تم اقتراح طريقة للتنبؤ بالقناة المتغيرة بمرور الوقت تعتمد على التعلم العميق ومناسبة لسيناريوهات الهاتف المحمول عالية السرعة.تعتمد هذه الطريقة على الشبكة العصبية ذات الانتشار الخلفي (BP)، والتي تقوم بالتدريب دون اتصال بالإنترنت والتنبؤ عبر الإنترنت. وتشير الورقة إلى أن هذه الطريقة يمكن أن تعمل على تحسين دقة التنبؤ بالقنوات المتغيرة بمرور الوقت بشكل كبير وتتمتع بتعقيد حسابي أقل.
* عنوان الورقة:
https://www.infocomm-journal.com/dxkx/CN/10.11959/j.issn.1000-0801.2021011
وما يختلف عن الماضي هو أن هذه الدراسة هي الأولى التي تطبق نموذجًا لغويًا كبيرًا على تصميم الطبقة المادية للاتصالات اللاسلكية، وهو ما يفتح بلا شك سابقة للجمع بين الذكاء الاصطناعي وتكنولوجيا الاتصالات.
كما ذكر في الورقة، في الماضي، لم تكن هناك محاولة ناجحة لتطبيق نموذج لغوي كبير مدرب مسبقًا على مهام اللغة غير الطبيعية.ثبت أن نماذج اللغة الكبيرة المدربة مسبقًا يمكنها أيضًا اختراق شكل اللغة لتمكين الاتصالات اللاسلكية.
والأمر الأكثر أهمية هو أنه من خلال هذه التجربة والمحاولة فإن نموذج اللغة الكبير سوف يفتح بالتأكيد فصلاً جديداً من التمكين. وفي الوقت نفسه، وبمساعدة القدرة الفريدة على التفكير التي يتمتع بها نموذج اللغة الكبير، فإنه يمكن أن يجعلنا أكثر اقتناعًا بأنه سيؤدي حتماً إلى تسريع تكامل الذكاء الاصطناعي والتقنيات المرتبطة بالصناعة الرأسية، وبالتالي إيجاد اختصار لدمج الذكاء الاصطناعي وآلاف الصناعات.