SIGNet: الإدراك الهندسي ثلاثي الأبعاد المُساعَد بمساعدة النماذج الدلالية غير المُشرَفة

التعلم غير المشرف للإدراك الهندسي (العمق، التدفق البصري، إلخ) يثير اهتمامًا كبيرًا في أنظمة الاستقلالية. حققت الأعمال الحديثة في مجال التعلم غير المشرف تقدمًا ملحوظًا في الإدراك الهندسي؛ ومع ذلك، فإنها غالبًا ما تتجاهل تماسك الأشياء وتؤدي بشكل سيء في السيناريوهات ذات البيئات الداكنة والضوضائية. بالمقابل، تتطلب خوارزميات التعلم المشرف، التي هي قوية وثابتة، قواعد بيانات هندسية كبيرة ومصنفة. يقدم هذا البحث SIGNet، إطار عمل جديد يوفر إدراكًا هندسيًا ثابتًا دون الحاجة إلى معلومات هندسية مصنفة. تحديدًا، يقوم SIGNet بدمج المعلومات الدلالية لجعل توقعات العمق والتدفق متسقة مع الأشياء وثابتة في ظروف الإضاءة المنخفضة. أظهرت النتائج أن SIGNet يحسن من أداء التعلم غير المشرف الأكثر تقدمًا لتوقع العمق بنسبة 30٪ (في الخطأ النسبي المربع). وبشكل خاص، يحسن SIGNet أداء فئة الأشياء الديناميكية بنسبة 39٪ في توقع العمق و29٪ في توقع التدفق. سيتم توفير شفرتنا المصدر على الرابط: https://github.com/mengyuest/SIGNet