هيدا: نحو فهم شامل للبيئة الداخلية للأشخاص ذوي الإعاقات البصرية من خلال التقسيم الInstances الدلالي باستخدام مستشعر ليدار صلب قابل للارتداء

استكشاف الفضاءات غير المعروفة أو العثور على الأشياء في البيئة الداخلية يُعد مهمة يومية لكنها صعبة بالنسبة للأشخاص ذوي الإعاقات البصرية. ومع ذلك، فإن الأنظمة المساعدة ثنائية الأبعاد الشائعة تفتقر إلى العلاقات العمقية بين مختلف الأشياء، مما يُعقّد الحصول على تخطيط فضائي دقيق ومواقع نسبية دقيقة للأشياء. لمعالجة هذه التحديات، نقترح HIDA، وهو نظام مساعد خفيف الوزن يعتمد على تقسيم كائنات السحابة النقطية ثلاثية الأبعاد باستخدام مستشعر ليدار صلب، للكشف الشامل عن العوائق والتحاشي في البيئة الداخلية. يتكون النظام بالكامل من ثلاث مكونات هاردويرية، ووظيفتين تفاعليتين (التحاشي العوائق والبحث عن الأشياء)، وواجهة صوتية للمستخدم. وباستخدام التوجيه الصوتي، يتم التقاط السحابة النقطية من الحالة الأحدث للبيئة الداخلية المتغيرة من خلال عملية مسح محلية يقوم بها المستخدم. بالإضافة إلى ذلك، صممنا نموذج تقسيم السحابة النقطية ذو مُفكّكَين خفيفي الوزن متوازيين لتنبؤات الدلالة (semantic) والانزلاق (offset)، مما يحقق الكفاءة المطلوبة للنظام بأكمله. وبعد إجراء تقسيم الكائنات ثلاثية الأبعاد، نُطبّق معالجة ما بعدية على السحابة النقطية المُقسَّمة من خلال إزالة القيم الشاذة ورسم جميع النقاط على تمثيل خريطة ثنائية الأبعاد من الأعلى. ويُدمج النظام للمعلومات المذكورة أعلاه، ويتواصل مع المستخدم بشكل مباشر عبر التغذية الصوتية. وقد حقق النموذج المقترح لتقسيم الكائنات ثلاثية الأبعاد أداءً متميزًا على مجموعة بيانات ScanNet v2. وتوّفر الاختبارات الميدانية الشاملة التي أُجريت في دراسة المستخدمين، مع تنفيذ مهام متعددة، إثباتًا على جدوى النظام وفعاليته في مساعدة الأشخاص ذوي الإعاقات البصرية على فهم شامل للبيئة الداخلية، والتحاشي العوائق، والبحث عن الأشياء.