HyperAIHyperAI
منذ 9 أيام

كشف وتنبؤ بالمشاعر في الفيديو باستخدام إشراف ضعيف من خلال شبكة إزالة زمنية عبر الوسائط

{Jufeng Yang, Lijuan Wang, Zhicheng Zhang}
كشف وتنبؤ بالمشاعر في الفيديو باستخدام إشراف ضعيف من خلال شبكة إزالة زمنية عبر الوسائط
الملخص

يحظى التنبؤ التلقائي بالمشاعر في مقاطع الفيديو التي ينشئها المستخدمون (UGVs) باهتمام متزايد في الآونة الأخيرة. ومع ذلك، تركز الطرق الحالية بشكل رئيسي على عدد محدود من الإطارات البصرية الأساسية، مما قد يحد من قدرتها على تمثيل السياق الذي يعكس المشاعر المقصودة. ولحل هذه المشكلة، نقترح في هذه الورقة شبكة زمنية متعددة الوسائط تقوم بحذف الزمنية عبر الوسائط، والتي تُحدد ليس فقط الإطارات الأساسية، بل أيضًا المعلومات السياقية والمرتبطة بالصوت بطريقة غير مُراقبة بشكل ضعيف. وبشكل محدد، نستخدم أولًا العلاقات الداخلية والخارجية بين الأجزاء المختلفة لاختيار الإطارات الأساسية بدقة. ثم نُكرر عملية حذف الإطارات الأساسية لتشجيع النموذج على التركيز على السياقات التي تحتوي على معلومات مكملة. وأظهرت التجارب الواسعة على ثلاث معايير صعبة لتحليل مشاعر الفيديو أن أداء طريقة الاقتراح يتفوق على الطرق الرائدة في مجالها. وتم إتاحة الشفرة المصدرية على الرابط: https://github.com/nku-zhichengzhang/WECL.

كشف وتنبؤ بالمشاعر في الفيديو باستخدام إشراف ضعيف من خلال شبكة إزالة زمنية عبر الوسائط | أحدث الأوراق البحثية | HyperAI