استخراج الفوائد من الكشف ثنائي المرحلة وواحدة المرحلة عن HOI

لقد سادت الطرق ثنائية المراحل في كشف التفاعل البشري-الكائن (HOI) لعدة سنوات. في الآونة الأخيرة، أصبحت الطرق أحادية المراحل في كشف التفاعل البشري-الكائن شائعة. في هذه الورقة، نهدف إلى استكشاف المزايا والعيوب الجوهرية للطرق ثنائية وواحدة المراحل. وبهدف تحقيق هذا الهدف، اكتشفنا أن الطرق ثنائية المراحل التقليدية تعاني أساسًا من تحديد أزواج البشر والكائنات التفاعلية الإيجابية، بينما تواجه الطرق أحادية المراحل صعوبة في تحقيق توازن مناسب في التعلم متعدد المهام، أي كشف الكائنات وتصنيف التفاعل. ولهذا السبب، يكمن المشكلة الأساسية في كيفية استخلاص الجوهر من النوعين التقليديين من الطرق وتجنّب عيوبهما. ولحل هذه المشكلة، نقترح إطارًا جديدًا أحادي المراحل يُفصل بين كشف الأشخاص والكائنات وتصنيف التفاعل بطريقة متسلسلة. وتحديدًا، نصمم أولًا منشئ أزواج الإنسان-الكائن بناءً على أحدث كاشف أحادي المراحل لـ HOI من خلال إزالة وحدة أو رأس تصنيف التفاعل، ثم نصمم تصنيفًا للتفاعل منفصل نسبيًا لتصنيف كل زوج من الإنسان والكائن. يمكن للمرحلتين المتسلسلتين في الإطار المقترح التركيز على مهمة محددة واحدة، إما كشف الكائنات أو تصنيف التفاعل. وفيما يتعلق بالتنفيذ المحدد، نستخدم كاشفًا قائماً على التحويل (Transformer) كنموذج أساسي. ويتفوق النموذج الجديد القائم على نمط الفصل بشكل كبير على الطرق الحالية، مع تحقيق زيادة نسبية كبيرة في دقة mAP تبلغ 9.32% على مجموعة بيانات HICO-Det. ويمكن الوصول إلى الشفرة المصدرية من خلال الرابط التالي: https://github.com/YueLiao/CDN.