UniMD: نحو توحيد استرجاع اللحظات وكشف الأنشطة الزمنية

اكتشاف العمل الزمني (TAD) يركز على اكتشاف الأنشطة المحددة مسبقًا، بينما يستهدف استرجاع اللحظات (MR) تحديد الأحداث الموصوفة بلغة طبيعية مفتوحة داخل مقاطع الفيديو غير المقصوصة. رغم تركيزهما على أحداث مختلفة، نلاحظ وجود علاقة مهمة بينهما. على سبيل المثال، تشمل معظم الوصفات في MR عدة أنشطة من TAD. في هذا البحث، نسعى إلى دراسة الارتباط المحتمل بين TAD و MR. أولاً، نقترح هندسة موحدة تُسمى اكتشاف اللحظة الموحد (UniMD) لكل من TAD و MR. تقوم هذه الهندسة بتحويل مدخلات المهمتين، وهي الأنشطة لـ TAD أو الأحداث لـ MR، إلى فضاء تمثيلي مشترك، وتستفيد من محولين جديدين يعتمدان على الاستفسار لتوليد خرج موحد يتضمن درجات التصنيف والفترات الزمنية. ثانيًا، نستكشف فعالية طريقتين للتعلم الدمجي للمهام، وهما التدريب الأولي والتدريب المشترك، بهدف تعزيز المنافع المتبادلة بين TAD و MR. تظهر التجارب الواسعة أن نظام التعلم الدمجي للمهام المقترح يمكّن المهمتين من المساعدة في بعضهما البعض وأداء أفضل من النظائر التي تم تدريبها بشكل منفصل. وبشكل مثير للإعجاب، حقق UniMD نتائجًا رائدة في ثلاثة مجموعات بيانات متزاوجة هي Ego4D و Charades-STA و ActivityNet. يمكن الوصول إلى شفرتنا البرمجية عبر الرابط: https://github.com/yingsen1/UniMD.