Trans4Trans: تحويلة فعالة لتحويلة كشف الأشياء الشفافة والتقسيم السياقي للمشهد في المساعدة على التنقل في العالم الحقيقي

الكائنات الشفافة، مثل الجدران وال أبواب الزجاجية، تمثل عوائق معمارية تعيق حركة الأشخاص ذوي الإدراك المنخفض أو المكفوفين. على سبيل المثال، لا يمكن الوصول إلى الفضاء المفتوح وراء الأبواب الزجاجية إلا إذا تم تمييزه وتفاعل معه بشكل صحيح. ومع ذلك، فإن التقنيات المساعدة التقليدية نادراً ما تغطي تقسيم هذه الكائنات الشفافة الحرجة من حيث السلامة. في هذا البحث، نُنشئ نظامًا قابلاً للارتداء يعتمد على نموذج جديد يُسمى "نموذج التمييز الشفاف ثنائي الرأس" (Trans4Trans)، قادر على تقسيم الكائنات العامة والكائنات الشفافة. ثم يتم دمج النتائج المكثفة للتقسيم مرتين مع معلومات العمق داخل النظام لمساعدة المستخدمين على التنقل بأمان، ومساعدتهم على التغلب على العوائق الشفافة. نقترح وحدة تحليلية خفيفة الوزن تُسمى "وحدة تحليل الترانسفورمر" (TPM) لتنفيذ تفسير ميزات متعددة المقاييس في مُفكك مبني على الترانسفورمر. وبفضل وحدة TPM، يمكن للنُّسخ المزدوجة للمُفكك إجراء تعلم مشترك من مجموعات البيانات المقابلة لتحقيق المرونة، مع الحفاظ على الكفاءة على وحدة معالجة الرسومات المحمولة، مع زيادة ضئيلة جدًا في الحسابات. يُبنى النموذج الكامل Trans4Trans بشكل متماثل باستخدام بنية مشفر-مُفكك، ويتفوق على أحدث الطرق في مجموعات اختبار بيانات Stanford2D3D وTrans10K-v2، حيث يحقق مؤشرات mIoU قدرها 45.13% و75.14% على التوالي. وقد تم التحقق من مدى قابلية الاستخدام والموثوقية للنظام المساعد من خلال دراسة مستخدمين وسلسلة من الاختبارات الأولية التي أُجريت في مشاهد داخلية وخارجية. وفي الوقت نفسه، تُظهر نماذج Trans4Trans أداءً متميزًا على مجموعات بيانات مشاهد القيادة. حيث حققت مؤشرات mIoU قدرها 81.5% و76.3% و39.2% على مجموعات بيانات Cityscapes وACDC وDADA-seg، التي تمثل البيئات الشائعة، والظروف الجوية السيئة، وسيناريوهات الحوادث المرورية، ما يدل على كفاءتها العالية وثباتها في التطبيقات الواقعية في مجال النقل.