المحول المُفكّك للإجراءات المستشعر بالشكّ لتنبؤ الإجراءات

تهدف محاكاة السلوك البشري إلى التنبؤ بما سيقوم به الأشخاص في المستقبل بناءً على الملاحظات السابقة. في هذه الورقة، نقدّم نموذج "مُحَوِّل الفعل المُتَفَكِّك المُتَّسِق مع عدم اليقين" (UADT) لمحاكاة السلوك. على عكس الطرق الحالية التي تتنبأ بالفعل مباشرةً بصيغة زوج الفعل-الاسم، نقوم بفصل مهمة محاكاة السلوك إلى مهام منفصلة لتنبؤ الفعل والاسم على حدة. والهدف هو تمكين هاتين المهمتين المُفَكَّكتين من التفاعل والمساعدة المتبادلة، مما يؤدي في النهاية إلى تحسين أداء محاكاة السلوك. بشكل محدد، نقترح بنية قائمة على مُحَوِّل ثنائي التدفق، تتكون من نموذج فعل-اسم ونموذج اسم-فعل. يُستخدم نموذج فعل-اسم في الاستفادة من معلومات الفعل لتحسين تنبؤ الاسم، والعكس صحيح. ونُطَوِّر النموذج بطريقة احتمالية، ونقيس عدم اليقين التنبؤي لكل مهمة من المهمتين المُفَكَّكتين لاختيار الميزات. وبهذا، يعتمد تنبؤ الاسم على أكثر ميزات الفعل إفادةً وخالية من التكرار، ويعمل تنبؤ الفعل بنفس الطريقة. وأخيرًا، تُدمج التدفقات المُختلفة ديناميكيًا بناءً على مستويات عدم اليقين الخاصة بهما لإنجاز محاكاة السلوك المشتركة. ونُظهر فعالية طريقة العمل من خلال تحقيق أداءً يُعدّ الأفضل في مجاله على معايير محاكاة السلوك، بما في ذلك EPIC-KITCHENS وEGTEA Gaze+ و50-Salads.