نقل المعرفة غير المتجانسة في التعرف على العواطف في الفيديو، ونسبتها، وتقديم ملخص لها

العاطفة هي عنصر رئيسي في مقاطع الفيديو التي ينتجها المستخدمون. ومع ذلك، فإن فهم العواطف المعبّر عنها في هذه المقاطع صعب بسبب الطبيعة المعقدة وغير المنظمة للمحتوى الذي ينتجه المستخدمون وندرة الإطارات الفيديوية التي تعبر عن العواطف. في هذا البحث، ولأول مرة، ندرس مشكلة نقل المعرفة من مصادر خارجية متنوعة، بما في ذلك بيانات الصور والنصوص، لتسهيل ثلاث مهمات مرتبطة بفهم عواطف الفيديو: التعرّف على العواطف، نسب العواطف، والملخصات ذات الاتجاه العاطفي. تحديداً، إطارنا العمل (1) يتعلم ترميز الفيديو من مجموعة بيانات صور عاطفية مساعدة بهدف تحسين التعرّف على عواطف الفيديو تحت الإشراف، و(2) ينقل المعرفة من مجموعات نصوص مساعدة للقيام بالتعرّف على أصناف العواطف غير المرئية أثناء التدريب (zero-shot recognition). تقنية النقل المعرفة المقترحة تسهل تطبيقات جديدة لنسب العواطف والملخصات ذات الاتجاه العاطفي. مجموعة شاملة من التجارب على عدة قواعد بيانات تظهر فعالية إطارنا العمل.