DECO: تقدير كثيف للاتصال بين الإنسان والمشهد في البيئة الحقيقية

فهم كيفية استخدام البشر للاتصال البدني بالعالم هو المفتاح لتمكين الذكاء الاصطناعي المتمحور حول الإنسان. بينما يعتبر استنتاج الاتصال ثلاثي الأبعاد أمرًا حاسمًا لنمذجة تفاعلات بشرية واقعية ومعقولة من الناحية الفيزيائية مع الأشياء، فإن الأساليب الحالية إما تركز على البعد الثاني (2D)، أو تأخذ في الاعتبار مفاصل الجسم بدلاً من السطح، أو تستند إلى مناطق جسمية خشنة ثلاثية الأبعاد، أو لا تتعمم على الصور الطبيعية. في المقابل، نركز على استنتاج الاتصال الكثيف ثلاثي الأبعاد بين سطح الجسم بأكمله والأشياء في صور عشوائية. لتحقيق هذا، قمنا أولاً بجمع DAMON، وهي مجموعة بيانات جديدة تحتوي على شروحات اتصال كثيفة على مستوى الرؤوس مترافقة مع صور RGB تحتوي على اتصالات بشر-أشياء وبشر-مناظر معقدة. ثانيًا، قمنا بتدريب DECO، وهو كاشف اتصال ثلاثي أبعاد جديد يستخدم انتباهًا مدفوعًا بالأجزاء الجسدية وانتباهًا مدفوعًا بالسياق البيئي لتقدير الاتصال على مستوى الرؤوس على نموذج SMPL للجسم. يعتمد DECO على الفهم بأن المشاهدين البشريين يتعرفون على الاتصال من خلال التفكير في الأجزاء الجسدية التي تلامس الأشياء، وقربها من أشياء المناظر المحيطة، والسياق البيئي المحيط. نقوم بتقييم شامل لكاشفنا DECO على مجموعة بيانات DAMON وكذلك على مجموعتي بيانات RICH وBEHAVE. نتفوق بشكل كبير على الأساليب الحالية الأكثر تقدمًا (SOTA) في جميع المقاييس. كما نظهر بشكل نوعي أن DECO يتعمم بشكل جيد إلى تفاعلات بشرية متنوعة ومليئة بالتحديات في الصور الطبيعية. يمكن الوصول إلى الكود والبيانات والنماذج عبر الرابط: https://deco.is.tue.mpg.de.