اكتشاف مفاهيم التفاعل بين الإنسان والكائنات من خلال التعلم الذاتي التركيب

فهم شامل للتفاعل بين الإنسان والأشياء (Human-Object Interaction - HOI) يتطلب ليس فقط اكتشاف جزء صغير من المفاهيم المحددة مسبقًا للتفاعل بين الإنسان والأشياء (أو الفئات)، بل أيضًا مفاهيم أخرى معقولة للتفاعل بين الإنسان والأشياء، بينما تفشل النهج الحالية عادة في استكشاف جزء كبير من المفاهيم غير المعروفة للتفاعل بين الإنسان والأشياء (أي، التفاعلات غير المعروفة ولكنها معقولة التي تتكون من الأفعال والأجسام). في هذا البحث، 1) نقدم مهمة جديدة وصعبة لفهم شامل للتفاعل بين الإنسان والأشياء، والتي تُعرف باسم اكتشاف مفاهيم التفاعل بين الإنسان والأشياء (HOI Concept Discovery)؛ و2) نصمم إطارًا تعليميًا ذاتي التركيب (Self-Compositional Learning - SCL) لاكتشاف مفاهيم التفاعل بين الإنسان والأشياء. بشكل خاص، نحافظ على تحديث مستمر لمصفوفة الثقة بالمفاهيم أثناء التدريب: 1) نقوم بتعيين تسميات زائفة لجميع حالات التفاعل المركبة بين الإنسان والأشياء وفقًا لمصفوفة الثقة بالمفاهيم للتدريب الذاتي؛ و2) نقوم بتحديث مصفوفة الثقة بالمفاهيم باستخدام توقعات جميع حالات التفاعل المركبة بين الإنسان والأشياء. وبالتالي، يمكّن الطريقة المقترحة من التعلم على كل من المفاهيم المعروفة وغير المعروفة للتفاعل بين الإنسان والأشياء. نجري تجارب واسعة على عدة قواعد بيانات شهيرة لتفاعلات الإنسان مع الأشياء لإظهار فعالية الطريقة المقترحة في اكتشاف مفاهيم التفاعل بين الإنسان والأشياء، وتعرف القدرات الاستخدامية للأجسام (object affordance recognition)، وكشف التفاعلات غير الشائعة والمألوفة. على سبيل المثال، يحسن الإطار التعليمي الذاتي التركيب المقترح أداء:1) اكتشاف مفاهيم التفاعل بين الإنسان والأشياء بنسبة تزيد عن 10% على HICO-DET وأكثر من 3% على V-COCO؛2) تعرف القدرات الاستخدامية للأجسام بنسبة زيادة أكثر من 9% mAP على MS-COCO وHICO-DET؛3) كشف التفاعلات غير الشائعة والمألوفة بنسبة زيادة تتجاوز 30% و20% على التوالي.الرمز البرمجي متاح بشكل عام في https://github.com/zhihou7/HOI-CL.