مملكة الحيوانات: مجموعة بيانات كبيرة ومتنوعة لفهم سلوك الحيوانات

فهم سلوكات الحيوانات له أهمية كبيرة في مجموعة واسعة من التطبيقات. ومع ذلك، فإن قواعد البيانات الحالية لسلوك الحيوانات تعاني من قيود في جوانب متعددة، بما في ذلك عدد محدود من فئات الحيوانات، وعينات البيانات، والمهمات المقدمة، بالإضافة إلى تنوع محدود في ظروف البيئة والزوايا البصرية. لمعالجة هذه القيود، نقوم بإنشاء قاعدة بيانات كبيرة ومتنوعة تسمى "مملكة الحيوان" (Animal Kingdom)، والتي توفر مهمات مُشَرَّحةٍ متعددة لتمكين فهم أكثر شمولًا للسلوك الطبيعي للحيوانات. تحتوي المقاطع المصورة للحيوانات البرية المستخدمة في قاعدة بياناتنا على تسجيلات لأوقات مختلفة من اليوم وفي بيئات واسعة النطاق تتضمن تنوعًا في الخلفيات والزوايا البصرية والإضاءة والحالات الجوية. بشكل أكثر تحديدًا، تحتوي قاعدة بياناتنا على 50 ساعة من مقاطع الفيديو المشروحة لتحديد مواقع المقاطع ذات الصلة بسلوك الحيوان في مقاطع الفيديو الطويلة لمهمة التأصيل الفيديوي (video grounding task)، و30 ألف تسلسل فيديوي لمهمة التعرف الدقيق على الأفعال المتعددة العلامات (fine-grained multi-label action recognition task)، و33 ألف إطار لمهمة تقدير الوضع (pose estimation task)، مما يتوافق مع تنوع كبير يشمل 850 نوعًا من الحيوانات ضمن 6 فئات رئيسية للحيوانات. يمكن لهذه القاعدة البيانات الصعبة والشاملة أن تساعد المجتمع في تطوير وتكييف وتقييم أنواع مختلفة من الأساليب المتقدمة لتحليل سلوك الحيوانات. علاوة على ذلك، نقترح نموذجًا للتعرف التعاوني على الأفعال (Collaborative Action Recognition - CARe) الذي يتعلم الخصائص العامة والخاصة للتعرف على الأفعال مع حيوانات جديدة غير مشاهدة سابقًا. حقق هذا الأسلوب أداءً واعدًا في تجاربنا. يمكن الوصول إلى قاعدة بياناتنا عبر الرابط https://sutdcv.github.io/Animal-Kingdom.