الوصف الكثيف للفيديو من البداية إلى النهاية باستخدام متحول مقنّع

يهدف التسمية الكثيفة للفيديو إلى إنشاء وصف نصي لجميع الأحداث في فيديو غير مقصوص. وهذا يتضمن كشف الأحداث ووصفها. لذلك، تعاملت جميع الطرق السابقة في التسمية الكثيفة للفيديو مع هذه المشكلة من خلال بناء نموذجين، وهما نموذج اقتراح الحدث ونموذج التسمية، لكل من هذين الجزءين الفرعيين. يتم تدريب النماذج إما بشكل منفصل أو بالتناوب. وهذا يمنع تأثير الوصف اللغوي المباشر على اقتراح الحدث، وهو أمر مهم لإنشاء وصف دقيق. لحل هذه المشكلة، نقترح نموذجًا كاملاً باستخدام تقنية الترانسفورمر (Transformer) للتسمية الكثيفة للفيديو. يقوم المُشفر (Encoder) بتشفير الفيديو إلى تمثيلات مناسبة. يقوم مُفكك الرموز للاقتراح (Proposal Decoder) بفك الرموز من التشفير باستخدام أنكورات مختلفة لتشكيل اقتراحات أحداث الفيديو. يستخدم مُفكك الرموز للتسمية (Captioning Decoder) شبكة تقييد لتقييد انتباهه على حدث الاقتراح فوق ميزات التشفير. تقوم هذه الشبكة بتقسيم اقتراح الحدث إلى قناع قابل للمفاضلة، مما يضمن التناسق بين الاقتراح والتسمية أثناء التدريب. بالإضافة إلى ذلك، يستخدم نموذجنا آلية انتباه ذاتي (Self-Attention)، والتي تمكن استخدام هيكل غير متكرر فعال أثناء التشفير وتؤدي إلى تحسين الأداء. نوضح فعالية هذا النموذج الكامل على مجموعتي بيانات ActivityNet Captions وYouCookII، حيث حققنا درجة METEOR قدرها 10.12 و6.58 على التوالي.