الإدراك الشامل للحالات كاكتشاف واسترجاع الأشياء

تهدف جميع مهام الإدراك الشامل إلى العثور على أشياء معينة محددة ببعض الاستفسارات مثل أسماء الفئات، التعبيرات اللغوية، والشروحات المستهدفة، ولكن هذا المجال الكامل قد تم تقسيمه إلى عدة مهام فرعية مستقلة. في هذا العمل، نقدم نموذجًا شاملًا للإدراك الشامل من الجيل التالي، يُطلق عليه اسم UNINEXT. يقوم UNINEXT بإعادة صياغة مهام الإدراك الشامل المتنوعة في نموذج موحد لاكتشاف واسترجاع الأشياء ويمكنه إدراك أنواع مختلفة من الأشياء ببساطة عن طريق تغيير دفعات الإدخال. يجلب هذا النموذج الموحد الفوائد التالية: (1) يمكن استغلال كميات هائلة من البيانات من مهام مختلفة ومفردات التسمية لتدريب تمثيلات شاملة على مستوى المثال بشكل مشترك، وهو ما يكون مفيدًا بشكل خاص للمهام التي تعاني من نقص في بيانات التدريب. (2) يكون النموذج الموحد فعالًا من حيث المعلمات ويتمكن من توفير الحساب الزائد عند التعامل مع عدة مهام في وقت واحد. أظهر UNINEXT أداءً أفضل على 20 مقاييس تحدي صعبة تشمل 10 مهام على مستوى المثال، بما في ذلك المهام التقليدية على مستوى الصورة (الكشف عن الأشياء وتقسيم الأمثل)، ومهام الرؤية واللغة (فهم التعبيرات المرجعية والتقسيم)، وست مهام تتبع الأشياء على مستوى الفيديو. يمكن الحصول على الكود من الرابط:https://github.com/MasterBin-IIAU/UNINEXT.