Label2Label: إطار نمذجة اللغة للتعلم متعدد السمات

عادة ما يتم ربط الأشياء بصفات متعددة، وهذه الصفات غالباً ما تظهر ارتباطات عالية. تعتبر نمذجة العلاقات المعقدة بين الصفات تحدياً كبيراً لتعلم الصفات المتعددة. يقترح هذا البحث إطارًا بسيطًا ومعتمدًا يُسمى Label2Label لاستغلال الارتباطات المعقدة للصفات. يعتبر Label2Label أول محاولة للتنبؤ بالصفات المتعددة من منظور نماذج اللغة. بشكل خاص، يتعامل مع كل صفة كـ "كلمة" تصف العينة. حيث يتم تسمية كل عينة بعدة صفات، فإن هذه "الكلمات" ستشكل بطبيعة الحال جملة غير مرتبة ولكنها ذات معنى، والتي تعبر عن المعلومات الدلالية للعينة المقابلة. مستوحى من النجاح الملحوظ لنماذج اللغة المسبقة التدريب في مجال معالجة اللغة الطبيعية (NLP)، يُقدم Label2Label نموذج لغة مخفي مشروط بالصورة، والذي يقوم بتغطية بعض "رموز الكلمات" بشكل عشوائي من جملة الصفة ويهدف إلى استرجاعها بناءً على الجملة المخفية والمعلومات السياقية التي تنقلها خصائص الصورة. الفكرة الأساسية هي أن العلاقات بين الصفات على مستوى العينات تكون مفهومة جيدًا إذا تمكنت الشبكة العصبية من استنتاج الصفات المفقودة بناءً على السياق واللمحات الباقية من الصفات. يعتبر Label2Label بسيطًا من الناحية المفاهيمية وقويًا من الناحية التجريبية. دون دمج المعرفة السابقة الخاصة بالمهمة وتصميم شبكات متخصصة للغاية، حققت طريقتنا نتائجًا رائدة في ثلاثة مهام مختلفة لتعلم الصفات المتعددة، عند مقارنتها بالطرق الخاصة والمخصصة للغاية للمجال. يمكن الحصول على الكود من الرابط التالي: https://github.com/Li-Wanhua/Label2Label.