Command Palette
Search for a command to run...
جينوم الإجراءات المنزلية: فهم إجرائي تعاوني مركب
جينوم الإجراءات المنزلية: فهم إجرائي تعاوني مركب
Nishant Rai Haofeng Chen Jingwei Ji Rishi Desai Kazuki Kozuka Shun Ishizaka Ehsan Adeli Juan Carlos Niebles
الملخص
تعتبر الأبحاث الحالية في تمييز الأفعال نشاطات كأحداث موحدة تحدث في الفيديوهات. ومؤخرًا، أظهرت فوائد صياغة الأفعال كمزيج من الأفعال الذرية وعدة إمكانات في تحسين فهم الأفعال مع ظهور مجموعات بيانات تحتوي على هذه التسميات، مما يمكّننا من تعلّم تمثيلات تُظهر هذه المعلومات. ومع ذلك، لا تزال هناك نقص في الدراسات التي تمتد لتوسيع تركيب الأفعال وتمكّن من الاستفادة من وجهات نظر متعددة ووسائط متعددة للتعلم التمثيلي. ولتعزيز الأبحاث في هذا الاتجاه، نقدّم "جينوم الأفعال المنزلية" (HOMAGE): مجموعة بيانات متعددة المناظر والوسائط، مكّمّلة بتصنيفات هرمية للأنشطة والأفعال الذرية، بالإضافة إلى تسميات كثيفة لتركيب المشهد. وباستغلال البيئة الغنية بالوسائط المتعددة والمنظورات المتعددة، نقترح إطار عمل يُسمى "فهم الأفعال المركبة التعاوني" (CCAU)، وهو إطار تعلّم تعاوني لتمييز الأفعال الهرمية، يراعي عناصر الأفعال المركبة. ويُظهر CCAU تحسينات مستمرة في الأداء عبر جميع الوسائط. علاوة على ذلك، نُظهر فائدة التعلّم التعاوني للتركيبات في تمييز الأفعال بعينات قليلة، حيث تم تحقيق مؤشر دقة متوسطة (mAP) بلغ 28.6% باستخدام عينة واحدة فقط.