SGAligner: محاذاة المشهد ثلاثي الأبعاد باستخدام الرسوم البيانية للمشهد

بناء الرسوم البيانية ثلاثية الأبعاد للمشاهد قد ظهر مؤخرًا كموضوع في تمثيل المشاهد لعدة تطبيقات ذكاء اصطناعي متجسددة، بهدف تمثيل العالم بطريقة منظمة وغنية. مع زيادة استخدامها في حل المهام اللاحقة (مثل التنقل وإعادة ترتيب الغرف)، هل يمكننا الاستفادة منها وإعادة استخدامها لإنشاء خرائط ثلاثية الأبعاد للبيئات، وهي خطوة محورية في تشغيل الوكلاء؟ نركز على المشكلة الأساسية المتمثلة في محاذاة أزواج من الرسوم البيانية ثلاثية الأبعاد للمشاهد التي يمكن أن تتراوح درجة تداخلها من الصفر إلى الجزئي وقد تحتوي على تغييرات عشوائية. نقترح SGAligner، وهو أول طريقة لمحاذاة أزواج من الرسوم البيانية ثلاثية الأبعاد التي تكون مقاومة للسيناريوهات الحقيقية (أي عدم وجود تداخل -- إذا كان هناك أي -- وتغييرات في البيئة). نستلهم من الرسوم البيانية متعددة الوسائط ونستخدم التعلم التبايني لتعلم فضاء مضمن مشترك ومتعدد الوسائط. نقوم بتقييم طريقتنا على مجموعة بيانات 3RScan ونظهر أيضًا أن طريقتنا يمكن استخدامها لتقدير التحويل بين أزواج المشاهد ثلاثية الأبعاد. بما أن المقاييس المرجعية لهذه المهام غير موجودة، فقد قمنا بإنشائها على هذه المجموعة البيانات. الكود والمقاييس المرجعية والأنماط المدربة متاحة على موقع المشروع.