إزالة التحيز في الفئّات متعددة الوسائط: الت régularization من خلال تحسين الانتروبيا الوظيفية

تحتوي العديد من المجموعات الحديثة على أنواع مختلفة من البيانات، مثل البيانات الصورية والأسئلة والإجابات في مهام الإجابة على الأسئلة البصرية (VQA). عند تدريب تصنيفات الشبكات العميقة على هذه المجموعات متعددة الوسائط، تُستغل الوسائط بمقاييس مختلفة، أي أن بعض الوسائط يمكن أن تسهم بشكل أسرع في نتائج التصنيف مقارنةً بغيرها. وهذا غير مثالي، لأن التصنيف يُظهر تحيزًا جوهريًا تجاه مجموعة جزئية من الوسائط. لمعالجة هذه النقطة الضعيفة، نقترح مصطلحًا ت.REGULARIZATION جديدًا يستند إلى الانتروبيا الوظيفية. بشكل مبسط، يشجع هذا المصطلح على تحقيق توازن في مساهمة كل وسائط في نتيجة التصنيف. ومع ذلك، يُعد الت.REGULARIZATION باستخدام الانتروبيا الوظيفية تحديًا كبيرًا. وللتعامل مع هذا التحدي، نطوّر طريقة تعتمد على متباينة لوغاريتمية-سوبوليف (log-Sobolev inequality)، والتي تحد من الانتروبيا الوظيفية باستخدام المعلومات-فيشر الوظيفية. بشكل مبسط، يُعزز هذا النهج كمية المعلومات التي تُسهم بها الوسائط. وحققنا نتائج منافسة على أعلى المستويات (state-of-the-art) على مجموعتي بيانات متعددات الوسائط الصعبتين VQA-CPv2 وSocialIQ، مع استغلال أكثر توازنًا للوسائط. بالإضافة إلى ذلك، نُظهر فعالية طريقة العمل لدينا على مجموعة بيانات Colored MNIST.