HyperAIHyperAI
منذ 17 أيام

تصنيف البيانات النصية باستخدام نماذج الرؤية المُدرَّبة مسبقًا من خلال التعلم الناقل وتحويلات البيانات

Charaf Eddine Benarab
تصنيف البيانات النصية باستخدام نماذج الرؤية المُدرَّبة مسبقًا من خلال التعلم الناقل وتحويلات البيانات
الملخص

يُكتسب المعرفة من قبل البشر من خلال التجربة، ولا توجد حدود محددة بين أنواع المعرفة أو مستويات المهارة التي يمكن تحقيقها في مهام مختلفة في نفس الوقت. أما في حالة الشبكات العصبية، فالأمر ليس كذلك. فالإنجازات في هذا المجال تكون متخصصة للغاية من حيث المهمة وال مجال. فتُعالج الرؤية واللغة بطرق منفصلة، باستخدام أساليب مختلفة وقواعد بيانات منفصلة. تعتمد الطرق الحالية لتصنيف النصوص بشكل كبير على الحصول على تمثيلات سياقية (contextual embeddings) للعينات النصية المدخلة، ثم تدريب فاصل (classifier) على مجموعة البيانات المُدمَجة. ويُستخدم التعلم المنقول (Transfer Learning) بشكل واسع في المهام المتعلقة باللغة، بهدف استخلاص تمثيلات سياقية للنصوص المدخلة. في هذا العمل، نقترح استخدام المعرفة التي اكتسبها نماذج الرؤية القياسية (benchmark Vision Models) التي تم تدريبها على مجموعة بيانات ImageNet، لمساعدة بنية أصغر بكثير على تعلُّم تصنيف النصوص. تم استخدام تقنية تحويل البيانات لإنشاء مجموعة بيانات جديدة من الصور، حيث تمثل كل صورة تمثيلاً لجملة (sentence embedding) من الطبقات الست الأخير لنموذج BERT، وقد تم عرضها على مستوى ثنائي الأبعاد باستخدام طريقة قائمة على t-SNE. تم تدريب خمسة نماذج تتضمن طبقات مبكرة تم استخلاصها من نماذج الرؤية المُدرّبة مسبقاً على ImageNet، على مجموعة الصور المُنشأة، باستخدام بيانات IMDB التي تم تمثيلها باستخدام الطبقات الست الأخيرة من BERT. وعلى الرغم من التحديات الناتجة عن اختلاف طبيعة المجموعتين، فإن النتائج التجريبية التي حققها هذا النهج، الذي يربط بين نماذج كبيرة مُدرّبة مسبقاً في مجالات اللغة والرؤية، واعدة جداً، دون الحاجة إلى استخدام موارد حسابية كبيرة. وبشكل خاص، تم تحقيق تحليل المشاعر (Sentiment Analysis) باستخدام خمسة نماذج مختلفة على نفس مجموعة الصور، التي تم الحصول عليها بعد تحويل تمثيلات BERT إلى صور رمادية.مُصطلحات الفهرسة: BERT، الشبكات العصبية التلافيفية (Convolutional Neural Networks)، التكيّف بين المجالات (Domain Adaptation)، تصنيف الصور، معالجة اللغة الطبيعية (Natural Language Processing)، t-SNE، تصنيف النصوص، التعلم المنقول