الإثولوجيا الحيوانية هي جانب حاسم من أبحاث الحيوانات، وتصنيف سلوك الحيوان هو الأساس لدراسة السلوك الحيواني. يشمل هذا العملية عادةً تسمية مقاطع الفيديو بالعلامات الدلالية للسلوك، وهي مهمة معقدة وذات طابع ذاتي ومتنوعة. بفضل التطور السريع لأنماط اللغة الكبيرة المتعددة الوسائط (LLMs)، ظهرت تطبيقات جديدة لمهام فهم السلوك الحيواني في سياقات الثروة الحيوانية. يقيم هذا البحث قدرات الإدراك البصري لأنماط اللغة الكبيرة المتعددة الوسائط في تحديد نشاط الخنازير الصغيرة. لتحقيق ذلك، قمنا بإنشاء بيانات اختبار للخنازير الصغيرة تتكون من مقاطع فيديو قريبة للمخازير الصغيرة بشكل فردي وتم تصنيف مقاطع الفيديو الكاملة. استخدمت هذه البيانات لتقييم أداء أربعة أنماط لغوية كبيرة متعددة الوسائط: Video-LLaMA، MiniGPT4-Video، Video-Chat2، و GPT-4 omni (GPT-4o) في فهم نشاط الخنازير الصغيرة. من خلال تقييم شامل عبر خمسة أبعاد، بما في ذلك العد والرجوع إلى الممثلين والمراسلة الدلالية وإدراك الزمن والمتانة، وجدنا أن الأنماط اللغوية الكبيرة المتعددة الوسائط الحالية تحتاج إلى تحسين في المراسلة الدلالية وإدراك الزمن، لكنها أظهرت في البداية قدرات إدراك بصري لتحديد نشاط الحيوانات. بشكل ملحوظ، أظهر GPT-4o أداءً متميزًا، حيث كانت Video-Chat2 و GPT-4o تتمتع بدقة دلالية وزمنية أعلى بكثير في مقاطع الفيديو القريبة مقارنة بمقاطع الفيديو الكاملة. تؤكد التجارب الأولية للتقييم في هذا البحث إمكانات أنماط اللغة الكبيرة المتعددة الوسائط في فهم مقاطع الفيديو الخاصة بسياقات الثروة الحيوانية وتقدم اتجاهات جديدة ومراجع للبحث المستقبلي حول فهم سلوك الحيوانات من خلال مقاطع الفيديو. بالإضافة إلى ذلك، من خلال استكشاف تأثير الرموز البصرية على أنماط اللغة الكبيرة المتعددة الوسائط بشكل عميق، نتوقع تعزيز دقة وكفاءة تحديد سلوك الحيوانات في سياقات الثروة الحيوانية باستخدام طرق المعالجة البصرية البشرية.