العدّ الكائنات المحددة بالنص في عالم مفتوح

هدفنا هو العدّ الـ"عالم المفتوح" للأجسام في الصور، حيث يتم تحديد فئة الكائن المستهدف عبر وصف نصي. ولتحقيق هذا الهدف، نقترح نموذج CounTX، وهو نموذج أحادي المرحلة وغير مُخصص لفئة معينة، يستخدم رأسًا لعدّ الكائنات (counting head) مبنيًا على معالج ترانسפורمر فوق تمثيلات مسبقة التدريب للنص والصورة معًا. يتمكن نموذج CounTX من عدّ عدد مرات ظهور أي كائن، بالاعتماد فقط على صورة واحدة ووصف نصي لفئة الكائن المستهدف، ويمكن تدريبه بالكامل من البداية إلى النهاية. بالإضافة إلى هذا النموذج، نقدم المساهمات التالية: (i) قمنا بمقارنة أداء CounTX مع الأعمال السابقة في مجال العدّ الـ"عالم المفتوح" للأجسام، وبيّنا أن منهجنا يتفوق على أفضل النماذج الحالية في جميع المقاييس على معيار FSC-147 بالنسبة للطرق التي تستخدم النص لتحديد المهمة؛ (ii) قدمنا ونُشرنا FSC-147-D، وهي نسخة مُحسّنة من FSC-147 تضم وصفات نصية، مما يسمح بوصف فئات الكائنات بلغة أكثر تفصيلًا من مجرد أسماء فئات بسيطة. يمكن الوصول إلى FSC-147-D والكود المصدر على الرابط: https://www.robots.ox.ac.uk/~vgg/research/countx.