إحياء السياق: تصنيف الأنواع من خلال كاميرات التتبع كمهمة تنبؤ بالروابط على الرسوم البيانية المعرفية متعددة الوسائط

تُعدّ كاميرات التتبع أداة مهمة في علم الأحياء الحيوانية لمراقبة التنوع البيولوجي والحفاظ عليه. ومع ذلك، تُحدَّ من تطبيقاتها العملية بسبب مشكلات مثل ضعف القدرة على التعميم في المواقع الجديدة وغير المُشاهدَة سابقًا. غالبًا ما ترتبط الصور بأشكال متنوعة من السياق، التي قد تظهر في مختلف الصيغ (النماذج). في هذا العمل، نستغل السياق المُنظَّم المرتبط بصور كاميرات التتبع لتعزيز القدرة على التعميم خارج التوزيع (out-of-distribution) في مهام تصنيف الأنواع ضمن كاميرات التتبع. على سبيل المثال، قد ترتبط صورة لحيوان برّي بتفاصيل حول الوقت والمكان الذي تم التقاطه فيه، فضلًا عن المعرفة البيولوجية المنظمة المتعلقة بفصيلة الحيوان. وعلى الرغم من أن الدراسات الحالية غالبًا ما تتجاهل هذا السياق، فإن دمجه يُقدّم فوائد محتملة عديدة لفهم أفضل للصور، مثل معالجة نقص البيانات وتحسين القدرة على التعميم. غير أن دمج هذا النوع من السياق المتنوع بشكل فعّال في المجال البصري يُعدّ مشكلة صعبة. ولحل هذه المشكلة، نقترح إطارًا جديدًا يحوّل مهام تصنيف الأنواع إلى مسألة تنبؤ بالروابط (link prediction) داخل رسم معرفي متعدد الوسائط (multimodal knowledge graph - KG). يُمكّن هذا الإطار من دمج سلس لمختلف السياقات متعددة الوسائط لتمييز الصور البصرية. ونطبّق هذا الإطار على تصنيف الأنواع خارج التوزيع باستخدام مجموعتي بيانات iWildCam2020-WILDS وSnapshot Mountain Zebra، ونحقق أداءً تنافسيًا مع أحدث الأساليب. علاوةً على ذلك، يُحسّن إطارنا من كفاءة العينات في تمييز الأنواع المُستَهَمَّة بشكل محدود.