FreDSNet: التصنيف الهرمي العميق والتقسيم الدلالي المفردة بسرعة باستخدام التحويلات التوافقية السريعة

في هذا العمل، نقدّم FreDSNet، وهو حل قائمة على التعلم العميق يُحقق فهمًا ثلاثي الأبعاد معنويًا للبيئات الداخلية من صور بانورامية واحدة. تُظهر الصور الواسعة الاتجاهات مزايا محددة للمهام عند معالجة مشكلات فهم المشهد، وذلك بفضل المعلومات السياقية الكاملة التي تقدمها على مدار 360 درجة حول البيئة بأكملها. ومع ذلك، فإن الخصائص الطبيعية للصور الواسعة الاتجاهات تُضيف صعوبات إضافية في تحقيق كشف دقيق عن الكائنات أو تقسيمها، أو تقدير عمق جيد. وللتغلب على هذه الصعوبات، نستفيد من التبديلات (convolutions) في المجال الترددي، مما يُوسع مجال الاستجابة (receptive field) في كل طبقة تلافيفية. تُمكّن هذه التبديلات من استغلال المعلومات السياقية الكاملة من الصور الواسعة الاتجاهات. ويشكل FreDSNet الشبكة الأولى التي توفر بشكل متكامل تقدير العمق من منظور واحد وتقسيمًا معنويًا من صورة بانورامية واحدة، مستفيدة من التبديلات السريعة عبر تحويل فورييه (fast Fourier convolutions). تُظهر تجاربنا أن أداء FreDSNet يعادل أداء أفضل الطرق الحديثة المخصصة لتقسيم المعاني وتقدير العمق. ويُتاح كود FreDSNet للجمهور عبر الرابط: https://github.com/Sbrunoberenguel/FreDSNet