HyperAIHyperAI
منذ 11 أيام

التعلم متعدد المهام المشترك ثنائي الأبعاد والثلاثي الأبعاد على مدينة سيتيسكيب-3D: الكشف ثلاثي الأبعاد، التجزئة، وتقدير العمق

Hanrong Ye, Dan Xu
التعلم متعدد المهام المشترك ثنائي الأبعاد والثلاثي الأبعاد على مدينة سيتيسكيب-3D: الكشف ثلاثي الأبعاد، التجزئة، وتقدير العمق
الملخص

يُعدّ هذا التقرير وثيقة مكملة لنموذج TaskPrompter، حيث يُفصّل تنفيذه على معيار تعلم متعدد المهام جديد يجمع بين البيانات ثنائية الأبعاد وثلاثية الأبعاد، مبنيّ على مجموعة بيانات Cityscapes-3D. يقدّم TaskPrompter إطارًا مبتكرًا لتقديم المهام (multi-task prompting) يوحّد عملية تعلّم (أ) التمثيلات العامة للوظائف، (ب) التمثيلات الخاصة بكل مهمة، و(ج) التفاعلات بين المهام المختلفة، بخلاف النماذج السابقة التي كانت تفصل هذه الأهداف التعليمية إلى وحدات شبكيّة منفصلة. يقلّل هذا النهج الموحّد من الحاجة إلى تصميم هيكلي تجريبي دقيق، ويُحسّن بشكل كبير قدرة الشبكة متعددة المهام على تعلّم التمثيلات، حيث يتم تخصيص كامل قدرة النموذج لتحسين هذه الأهداف الثلاثة في آن واحد. كما يقدّم TaskPrompter معيارًا جديدًا لتعلم متعدد المهام مبنيّ على مجموعة بيانات Cityscapes-3D، والذي يُطلب منه إنتاج تنبؤات متزامنة لمهام كالتالي: اكتشاف المركبات ثلاثية الأبعاد من صورة واحدة (monocular 3D vehicle detection)، والتقسيم الدلالي (semantic segmentation)، وتقدير العمق من صورة واحدة (monocular depth estimation). تمثل هذه المهام عناصر أساسية لتحقيق فهم متكامل ثنائي-ثلاثي الأبعاد للمشاهد البصرية، وخاصة في تطوير أنظمة القيادة الذاتية. وعلى هذا المعيار الصعب، تُظهر نماذجنا متعددة المهام أداءً قويًا مقارنةً بالأساليب الرائدة أحادية المهمة، وتحقيق نتائج جديدة قياسية في مهام اكتشاف المركبات ثلاثية الأبعاد وتقدير العمق، التي تُعدّ من أصعب المهام في هذا المجال.

التعلم متعدد المهام المشترك ثنائي الأبعاد والثلاثي الأبعاد على مدينة سيتيسكيب-3D: الكشف ثلاثي الأبعاد، التجزئة، وتقدير العمق | أحدث الأوراق البحثية | HyperAI