ClickDiff: النقر لإنشاء خريطة الاتصال الدلالية للتحكم في توليد الإمساك باستخدام نماذج التفتيت

تهدف إنشاء القبضة إلى إنشاء تفاعلات معقدة بين اليد والكائن المحدد. بينما ركزت النهج التقليدية لإنشاء اليد بشكل أساسي على الرؤية والتنوع تحت قيود المشهد، فإنها تتجاهل غالبًا التفاعلات الدقيقة بين اليد والكائن مثل نقاط الاتصال، مما يؤدي إلى قبضات غير دقيقة وغير مرغوب فيها. لمعالجة هذه التحديات، نقترح مهمة إنشاء القبضة القابلة للتحكم ونقدم ClickDiff، وهو نموذج إنشاء مشروط قابل للتحكم يستخدم خريطة اتصال دلالية دقيقة (SCM). وبشكل خاص عند توليد القبضات التفاعلية، يمكّن هذا الأسلوب من التحكم الدقيق في عملية إنشاء القبضة من خلال خريطة اتصال دلالية محددة من قبل المستخدم أو متوقعة بواسطة الخوارزمية. بالتحديد، لاستخدام أفضل لقيود الإشراف على الاتصال ولنمذجة الهيكل الفيزيائي المعقد للید بشكل دقيق، نقترح إطار عمل ثنائي الجيل. ضمن هذا الإطار، تقوم وحدة الإشراف الدلالي بإنشاء خرائط اتصال معقولة بناءً على معلومات اتصال دقيقة، بينما تستفيد وحدة الإشراف على الاتصال من خرائط الاتصال بالإضافة إلى السحب النقطية للأجسام لتوليد قبضات واقعية. نقيم المعايير المناسبة لإنشاء القبضة القابل للتحكم. وقد أثبتت التجارب التي أجريت على بيانات GRAB وARCTIC صحة طريقة المقترحة لدينا، مما يظهر فعالية ClickDiff ومتانته حتى مع الأجسام التي لم يتم رؤيتها سابقًا. يمكن الوصول إلى شفرتنا البرمجية عبر الرابط:https://github.com/adventurer-w/ClickDiff.