التعلم عبر الوسائط لتكيف المجال في التجزئة الدلالية ثلاثية الأبعاد

التكيف النطقي هو مهمة مهمة تُمكّن التعلّم عندما تكون التصنيفات نادرة. في حين أن معظم الدراسات تركز فقط على وسيلة الصورة، هناك العديد من المجموعات المتعددة الوسائط المهمة. للاستفادة من الطبيعة المتعددة الوسائط في التكيف النطقي، نقترح التعلّم عبر الوسائط، حيث نفرض اتساقًا بين التنبؤات الناتجة عن وسيلتين عبر التماثل المتبادل. نفرض على الشبكة أن تُقدّم تنبؤات صحيحة على البيانات المصنّفة، وتُقدّم تنبؤات متسقة عبر الوسائط على البيانات غير المصنّفة في المجال المستهدف. أثبتت التجارب في بيئات التكيف النطقي غير المراقبة والشبه مراقبة فعالية هذه الاستراتيجية الجديدة في التكيف النطقي. وبشكل خاص، قمنا بتقييم المهمة المتعلقة بتقسيم المعنى ثلاثي الأبعاد من صورة ثنائية الأبعاد، أو من سحابة نقاط ثلاثية الأبعاد، أو من كليهما معًا. واستخدمنا مجموعات بيانات حديثة للقيادة لخلق تنوع واسع من سيناريوهات التكيف النطقي، بما في ذلك التغيرات في هيكل المشهد، والإضاءة، وترتيب الحساسات، والظروف الجوية، بالإضافة إلى سيناريو التحويل من الصناعية إلى الواقعية. وقد أظهرت طريقتنا تحسنًا ملحوظًا مقارنة بالأساليب السابقة المبنية على وسيلة واحدة في جميع سيناريوهات التكيف. وتم إتاحة الكود الخاص بنا للجمهور عبر الرابط: https://github.com/valeoai/xmuda_journal