نموذج المحول

تم إطلاق نموذج Transformer بواسطة فريق في Google Brain في عام 2017 واستبدل تدريجيًا نماذج RNN مثل الذاكرة طويلة المدى (LSTM) ليصبح النموذج المفضل لمشاكل معالجة اللغة الطبيعية. تسمح ميزة التوازي بتدريبه على مجموعات بيانات أكبر. وقد ساهم هذا أيضًا في تطوير النماذج المدربة مسبقًا مثل BERT وGPT. يتم تدريب هذه الأنظمة باستخدام مجموعات بيانات كبيرة مثل Wikipedia وCommon Crawl، ويمكن ضبطها بدقة لأداء مهام محددة.

نموذج المحول هو نموذج تعليم عميق يستخدم آلية الاهتمام الذاتي، والتي يمكنها تعيين أوزان مختلفة لأجزاء مختلفة من بيانات الإدخال وفقًا لأهميتها. ويستخدم هذا النموذج بشكل أساسي في مجالات معالجة اللغة الطبيعية (NLP) ورؤية الكمبيوتر (CV).

مثل الشبكات العصبية المتكررة (RNNs)، تم تصميم نموذج المحول لمعالجة بيانات الإدخال المتسلسلة مثل اللغة الطبيعية ويمكن تطبيقه على مهام مثل الترجمة وتلخيص النصوص. على عكس RNN، يمكن لنموذج المحول معالجة كافة بيانات الإدخال مرة واحدة. يمكن لآلية الانتباه توفير السياق لأي موضع في تسلسل الإدخال. إذا كانت بيانات الإدخال عبارة عن لغة طبيعية، فلا يتعين على Transformer معالجة كلمة واحدة فقط في كل مرة مثل RNN. يتيح هذا البناء إمكانية إجراء المزيد من الحوسبة المتوازية وبالتالي تقليل وقت التدريب.

يدرب

تخضع نماذج المحولات عادةً للتعلم الذاتي الإشرافي، بما في ذلك التدريب المسبق غير الخاضع للإشراف والضبط الدقيق الخاضع للإشراف. نظرًا لأن بيانات التدريب المصنفة المستخدمة في الضبط الدقيق الخاضع للإشراف محدودة بشكل عام، فإن التدريب المسبق يتم عادةً على مجموعة بيانات أكبر من تلك المستخدمة في الضبط الدقيق. تتضمن مهام التدريب المسبق والضبط الدقيق عادةً ما يلي:

• نمذجة اللغة
• التنبؤ بالجملة التالية
• نظام الإجابة على الأسئلة
• فهم القراءة
• تحليل مشاعر النص
• إعادة كتابة النص

طلب

لقد حقق نموذج المحول نجاحًا كبيرًا في مجال معالجة اللغة الطبيعية (NLP)، مثل مهام الترجمة الآلية والتنبؤ بالمتسلسلات الزمنية. تُظهر العديد من النماذج المدربة مسبقًا بما في ذلك GPT-2 وGPT-3 وBERT وXLNet وRoBERTa قدرة نموذج Transformer على أداء مهام مختلفة مرتبطة بمعالجة اللغة الطبيعية ولديها العديد من التطبيقات العملية المحتملة. تتضمن هذه التطبيقات:

• الترجمة الآلية
• تلخيص النص
• إنشاء النص
• التعرف على الكيان المسمى
• تحليل التسلسل البيولوجي
• فهم الفيديو

في عام 2020، تم إثبات أن بنية المحول (GPT-2 على وجه التحديد) قادرة على أداء مهمة لعب الشطرنج من خلال الضبط الدقيق. وقد تم تطبيق نماذج المحولات أيضًا على معالجة الصور بنتائج مماثلة لتلك التي تم الحصول عليها من الشبكات العصبية التلافيفية.

مراجع

【1】https://zh.wikipedia.org/wiki/Transformer%E6%A8%A1%E5%9E%8B#cite_note-:6-4