إطار عمل مباشر لاسترجاع الفيديو باستخدام CLIP

استرجاع الفيديو هو مهمة صعبة تتطلب مطابقة استعلام نصي مع فيديو أو العكس. تعتمد معظم الطرق الحالية لحل هذه المشكلة على التصنيفات التي يقوم بها المستخدمون. وعلى الرغم من بساطة هذا النهج، إلا أنه ليس دائمًا عمليًا في الممارسة. في هذه الدراسة، نستكشف تطبيق نموذج اللغة والصورة CLIP لاستخراج تمثيلات الفيديو دون الحاجة إلى هذه التصنيفات. تم تدريب هذا النموذج صراحةً على تعلم فضاء مشترك يمكن فيه مقارنة الصور والنصوص. وباستخدام تقنيات مختلفة موضحة في هذا المستند، قمنا بتوسيع تطبيقه ليشمل الفيديوهات، مما أدى إلى تحقيق نتائج من الطراز الأول على معايير MSR-VTT وMSVD.