المحولات العابرة الزمنية-العلاقية للتمييز القائم على أمثلة قليلة للإجراءات

نُقدِّم نهجًا جديدًا للتعرف على الإجراءات بعينة قليلة، من خلال العثور على أزواج الإطارات المتناظرة زمنيًا بين الاستعلام والفيديوهات في مجموعة الدعم. على عكس الطرق السابقة في التعلم بعينة قليلة، نبني نماذج فئات باستخدام آلية الانتباه في CrossTransformer لرصد التسلسلات الجزئية ذات الصلة لجميع الفيديوهات في مجموعة الدعم، بدلًا من استخدام المتوسطات الفئوية أو التطابق الأفضل وحيدًا. تُكوَّن تمثيلات الفيديو من مجموعات مرتبة من عدد متغير من الإطارات، مما يسمح بمقارنة التسلسلات الجزئية للإجراءات بسرعات مختلفة والانزياحات الزمنية المختلفة.تحقيقًا لنتائج متميزة على مقاييس التعلم بعينة قليلة لـ Kinetics، Something-Something V2 (SSv2)، HMDB51، وUCF101، تُظهر نماذج CrossTransformer ذات العلاقة الزمنية (TRX) التي اقترحناها تفوقًا على أحدث النتائج المنشورة. وبشكل خاص، تتفوق طريقة نهجنا على الطرق السابقة على مجموعة SSv2 بفارق كبير (12%)، وذلك بفضل قدرتها على نمذجة العلاقات الزمنية. كما يُظهر التحليل التجريبي التفصيلي أهمية التماثل مع عدة فيديوهات من مجموعة الدعم، بالإضافة إلى أهمية تعلُّم CrossTransformer ذات العلاقات من الدرجة العليا.