الانتباه عبر الوسائط مع التضمين الرسومي المعنوي للتصنيف متعدد التصنيفات

تصنيف الصور والفيديوهات متعدد التصنيفات يُعد مهمة أساسية لكنها صعبة في مجال الرؤية الحاسوبية. تكمن التحديات الرئيسية في التقاط الاعتماديات المكانية أو الزمنية بين التصنيفات، وتحديد مواقع الميزات التمييزية لكل فئة. وللتغلب على هذه التحديات، نقترح استخدام الانتباه عبر الوسائط مع التضمين الرسومي الدلالي لتصنيف متعدد التصنيفات. وباستناد إلى الرسم البياني للتصنيفات المُنشأ، نُقدّم طريقة تضمين رسم بياني تعتمد على الجوار لتعلم تمثيلات دلالية للتصنيفات، والتي تستغل بشكل صريح علاقات التصنيفات. ثم نُولّد مخططات انتباه عبر وسائط جديدة باستخدام التوجيه من تمثيلات التصنيفات المُتعلمة. وأظهرت التجارب على مجموعتي بيانات تصنيف صور متعدد التصنيفات (MS-COCO وNUS-WIDE) أن طريقة العمل لدينا تتفوق على الطرق الحالية المتطورة. بالإضافة إلى ذلك، قمنا بتوثيق أداء طريقة العمل على مجموعة بيانات فيديو كبيرة متعددة التصنيفات (YouTube-8M Segments)، وأظهرت نتائج التقييم القدرة على التعميم الفعّالة للطريقة المقترحة.