اكتشاف السمات المفتوحة

قد مكّنت نماذج الرؤية-اللغة من مهام المفردات المفتوحة حيث يمكن استعلام التوقعات باستخدام أي دعوة نصية بطريقة الصفر-إطلاق (zero-shot). تركز المهام الحالية للمفردات المفتوحة على فئات الأشياء، بينما يبقى البحث حول خصائص الأشياء محدودًا بسبب عدم وجود مقاييس تقييم موثوقة تركز على الخصائص. يقدم هذا البحث مهمة الكشف عن الخصائص بالمفردات المفتوحة (Open-Vocabulary Attribute Detection - OVAD) والمقاييس المرتبطة بها. الهدف من هذه المهمة الجديدة والمقاييس هو اختبار المعلومات المتعلقة بخصائص الأشياء التي يتم تعلمها بواسطة نماذج الرؤية-اللغة. لهذا الغرض، أنشأنا مجموعة اختبار نظيفة ومُشَرَّحَة بكثافة تغطي 117 فئة خاصية على 80 فئة من الأشياء في MS COCO. تتضمن هذه المجموعة شروحًا إيجابية وسلبية، مما يمكّن التقييم بالمفردات المفتوحة. بشكل عام، تتكون المقاييس من 1.4 مليون شرح. كمرجع، نقدم طريقة أساسية أولى للكشف عن الخصائص بالمفردات المفتوحة. بالإضافة إلى ذلك، نظهر قيمة المقاييس من خلال دراسة أداء الكشف عن الخصائص لعدة نماذج أساسية. صفحة المشروع: https://ovad-benchmark.github.io