عد الأشياء اليومية في المشاهد اليومية

نحن مهتمون بحساب عدد حالات فئات الأشياء في الصور الطبيعية اليومية. تناولت الطرق السابقة لحساب العدد مشكلة الحساب في مجالات محددة مثل حساب المشاة في مقاطع الفيديو المراقبة. يمكن أيضًا تقدير العد من نواتج مهام الرؤية الأخرى مثل اكتشاف الأشياء. في هذا العمل، نبني نماذج متخصصة للعد مصممة لمعالجة التباين الكبير في أعداد الأشياء ومظهرها وحجمها في المشاهد الطبيعية. يلهم نهجنا ظاهرة السبتيز (subitizing) - وهي قدرة الإنسان على إجراء تقييمات سريعة للعدد عند استلام إشارة حسية، بالنسبة للأعداد الصغيرة. بناءً على مشهد طبيعي، نستخدم استراتيجية التقسيم والغلبة مع دمج السياق عبر المشهد لتكيف فكرة السبتيز إلى الحساب. يقدم نهجنا تحسينات ثابتة على العديد من النماذج الأساسية للعد في مجموعة بيانات PASCAL VOC 2007 و COCO. بعد ذلك، ندرس كيفية استخدام الحساب لتحسين اكتشاف الأشياء. ثم نقدم تطبيقًا مفاهيميًا لإثبات المفهوم لطرقنا في الحساب في مهمة الإجابة على الأسئلة البصرية، من خلال دراسة أسئلة "كم عدد؟" في مجموعتي بيانات VQA و COCO-QA.