شبكة GA-Net: شبكة التجميع الموجهة للتطابق الثنائي النقطي من البداية إلى النهاية

في مهمة التوافقي الثنائي البُعد (stereo matching)، يعتبر تجميع تكلفة المطابقة أمرًا حاسمًا في كل من الأساليب التقليدية ونماذج الشبكات العصبية العميقة لتحقيق تقدير دقيق للانحرافات (disparities). نقترح طبقتين عصبيتين جديدتين، مصممتين لالتقاط الارتباطات المحلية وتلك المتعلقة بالصورة بأكملها على التوالي. الأولى هي طبقة التجميع شبه العالمية (semi-global aggregation layer)، وهي تقريب قابل للتفاضل لعملية المطابقة شبه العالمية (semi-global matching). الثانية هي طبقة التجميع المحلي الموجه (local guided aggregation layer)، والتي تتبع استراتيجية تصفية التكلفة التقليدية لتحسين الهياكل الرفيعة. يمكن استخدام هاتين الطبقتين بديلاً عن الطبقة الإدراكية ثلاثية الأبعاد (3D convolutional layer) التي تعتبر باهظة الحساب واستهلاك الذاكرة بسبب تعقيدها الحسابي والذاكرتي من الدرجة الثالثة. في التجارب، أظهرنا أن الشبكات التي تحتوي على كتلة تجميع موجهة ثنائية الطبقة تتفوق بسهولة على الشبكة المتقدمة GC-Net التي تحتوي على تسعة عشر طبقة إدراكية ثلاثية الأبعاد. كما قمنا بتدريب شبكة تجميع موجهة عميقة (GA-Net) تحصل على دقة أفضل من الأساليب المتقدمة على كل من مجموعة بيانات Scene Flow ومعايير KITTI.