EarthVQA: نحو استعلام قابل الاستفسار عن الأرض من خلال الإجابة على الأسئلة المرئية المستندة إلى المنطق العلائقي في الاستشعار عن بعد

عادةً ما تركز أبحاث رؤية الأرض على استخراج مواقع الأشياء الجغرافية المكانية وأصنافها، ولكنها تتجاهل استكشاف العلاقات بين الأشياء والتحليل الشامل. بناءً على احتياجات التخطيط الحضري، قمنا بتطوير مجموعة بيانات متعددة الوسائط ومتعددة المهام للأسئلة والأجوبة المرئية (EarthVQA) لتعزيز الحكم والعد والتحليل الشامل المستند إلى المنطق العلائقي. تحتوي مجموعة بيانات EarthVQA على 6000 صورة ومعادلات معنوية متناظرة و208,593 زوج من الأسئلة والأجوبة مدمجة فيها متطلبات حوكمة المناطق الحضرية والريفية. نظرًا لأن الأشياء هي الأساس للمنطق العلائقي المعقد، فقد اقترحنا إطارًا يعتمد على الوعي بالأشياء الدلالية (SOBA) لتعزيز الأسئلة والأجوبة المرئية بطريقة مركزية حول الأشياء. لتحقيق الحفاظ على المواقع المكانية الدقيقة والدلالات، يستخدم الإطار SOBA شبكة تقسيم لإنشاء دلالات الأشياء. يتم جمع خصائص داخل الأشياء عبر أقنعة وهمية بواسطة الانتباه المحكوم بالأشياء، ويقوم الانتباه المتقاطع الثنائي بتقديم نموذج للعلاقات الخارجية للأشياء بشكل هرمي. لتحسين عد الأشياء، اقترحنا خسارة الفرق العددية التي تضيف عقوبات فروق ديناميكياً، مما يوحّد مهام التصنيف والانحدار. تظهر النتائج التجريبية أن الإطار SOBA يتفوق على الأساليب المتقدمة العامة والمراقبة عن بعد. نعتقد أن هذه المجموعة من البيانات والإطار يقدمان معيارًا قويًا للتحليل المعقد في رؤية الأرض. صفحة المشروع متاحة على الرابط https://Junjue-Wang.github.io/homepage/EarthVQA.