QAHOI: مُفتاحات قائمة على الاستعلام للكشف عن التفاعل البشري-الكائني

كشف تفاعل الإنسان مع الكائن (HOI) كمهام تالية لمهام كشف الكائنات يتطلب تحديد أزواج البشر والكائنات واستخراج العلاقات الدلالية بين البشر والكائنات من صورة. في الآونة الأخيرة، أصبحت النهج ذات المرحلة الواحدة اتجاهًا جديدًا لهذه المهمة بفضل كفاءتها العالية. ومع ذلك، تركز هذه النهج على اكتشاف نقاط التفاعل المحتملة أو تصفية أزواج البشر والكائنات، مع إغفال التباين في المواقع والمقاسات المختلفة للكائنات عند المقياس المكاني. لحل هذه المشكلة، نقترح منهجية تعتمد على المحولات (Transformer)، تُسمى QAHOI (استعلامات مبنية على أعمدة لكشف تفاعل الإنسان مع الكائن)، والتي تستفيد من بنية متعددة المقياس لاستخراج السمات من مقاييس مكانية مختلفة، وتستخدم أعمدة مبنية على الاستعلامات للتنبؤ بجميع عناصر حالة تفاعل الإنسان مع الكائن. كما نستعرض بشكل أعمق أن وجود نواة قوية يزيد بشكل كبير من الدقة بالنسبة لـ QAHOI، حيث يتفوق QAHOI باستخدام نواة مبنية على المحولات على أحدث الطرق المتطورة على معيار HICO-DET بفارق كبير. يُمكن الوصول إلى الشفرة المصدرية من خلال الرابط: $\href{https://github.com/cjw2021/QAHOI}{\text{هذا الرابط}}$.