HyperAIHyperAI
منذ 2 أشهر

التعلم العميق التعزيزي لملخص الفيديو غير المشرف مع مكافأة التنوع والتمثيل

Kaiyang Zhou; Yu Qiao; Tao Xiang
التعلم العميق التعزيزي لملخص الفيديو غير المشرف مع مكافأة التنوع والتمثيل
الملخص

الملخص الفيديو يهدف إلى تسهيل تصفح الفيديوهات على نطاق واسع من خلال إنتاج ملخصات قصيرة وموجزة تكون متنوعة وممثلة للأفلام الأصلية. في هذا البحث، نصيغ عملية الملخص الفيديو كعملية اتخاذ قرارات متتابعة ونطور شبكة ملخص عميقة (DSN) لملخص الفيديوهات. تقوم DSN بتوقع احتمالية لكل إطار فيديو، والتي تشير إلى مدى احتمال اختيار الإطار، ثم تتخذ القرارات بناءً على هذه التوزيعات الاحتمالية لاختيار الإطارات، مما يشكل ملخصات الفيديو. لتدريب شبكتنا DSN، نقترح إطارًا تعليميًا من النهاية إلى النهاية يستند إلى التعلم التعزيزي، حيث نصمم دالة جائزة جديدة تأخذ بعين الاعتبار التنوع والتعددية للملخصات المولدة ولا تعتمد على العلامات أو التفاعلات المستخدمين بأي شكل من الأشكال. أثناء التدريب، تقوم دالة الجائزة بتقييم مدى تنوع وتعددية الملخصات المولدة، بينما تعمل DSN على تحقيق جوائز أعلى من خلال تعلم إنتاج ملخصات أكثر تنوعًا وأكثر تمثيلًا. بما أن العلامات ليست ضرورية، فإن طريقتنا يمكن أن تكون غير مشروطة تمامًا. أظهرت التجارب الواسعة على مجموعة بيانات معيارية واحدة أن طريقتنا غير المشروطة لا فقط تتفوق على الأساليب غير المشروطة الرائدة الأخرى فحسب، بل إنها أيضًا تعادل أو حتى تتفوق على معظم الأساليب المشروطة المنشورة.请注意,这里对“benchmark datasets”翻译为“مجموعة بيانات معيارية”,这是在科技文献中常用的翻译。同时,“end-to-end”被翻译为“من النهاية إلى النهاية”,这在阿拉伯语科技文献中也是常见的表达方式。其他术语如“reinforcement learning”(التعلم التعزيزي)、“diversity”(التنوع)和“representativeness”(التعددية/تمثيل)也采用了通用的学术翻译。为了使表述更加正式和流畅,部分句子结构进行了调整以适应阿拉伯语的表达习惯。

التعلم العميق التعزيزي لملخص الفيديو غير المشرف مع مكافأة التنوع والتمثيل | أحدث الأوراق البحثية | HyperAI