شبكة ذاكرة ذات انتباه هيكلي للتقدير الثنائي للعمق من صورة واحدة

تُعد تقدير العمق من صورة مفردة مهمةً صعبةً تهدف إلى توقع خريطة عمق مُقابلة من صورة RGB واحدة معطاة. وقد تم مؤخرًا اقتراح نماذج تعلم العميق لتقدير العمق من الصورة من خلال تعلم التوافق بين الميزات العميقة بين مجال الصورة RGB ومجال العمق. في هذه الورقة، نقدم نهجًا جديدًا يُسمى "شبكة الذاكرة الموجهة بالهيكل" (Structure-Attentioned Memory Network)، والذي يُحسّن بشكل أكثر فعالية نقل الميزات بين المجالات لتقدير العمق من صورة مفردة، مع أخذ الانتظامات الهيكلية المشتركة (مثل أنماط التكرار الهيكلية، الأسطح المستوية، والتماثلات) في الاعتبار أثناء التكيف بين المجالات. ولتحقيق ذلك، نُقدّم وحدة جديدة تُسمى "ذاكرة موجهة بالهيكل" (SOM)، والتي تُتعلم وتحفظ المعلومات المخصصة للهيكل بين مجال صورة RGB ومجال العمق. وبشكل أكثر تفصيلًا، في وحدة SOM، نطوّر وحدة "مصرف مرشحات قابلة للتذكّر" (MBF) لتعلم مجموعة من المرشحات التي تحفظ أنماط البقايا المُدركة للهيكل بين الصورة والعُمق، كما نُعدّ وحدة "مُسيطر موجه بالانتباه" (AGC) للتحكم في اختيار المرشحات في MBF بناءً على استفسارات ميزات الصورة. وباستخدام ميزة الصورة المستفسرة، تكون الوحدة المدربة SOM قادرة على اختيار أفضل المرشحات المخصصة بشكل تكيفي لنقل الميزات عبر المجالات، مع تحقيق أقصى تباين هيكلية بين الصورة والعُمق. وبشكل موجز، نركّز على معالجة هذه التحديات الخاصة بالتكيف بين المجالات المُحددة بالهيكل، من خلال اقتراح شبكة متميزة ذات مقياس متعدد وقابلة للتذكّر ونظامها متكامل من البداية إلى النهاية لتقدير العمق من صورة مفردة. وتُظهر التجارب أن النموذج المقترح يُظهر أداءً متفوّقًا مقارنةً بالأساليب الحالية المدعومة تدريبيًا لتقدير العمق من صورة مفردة على معايير KITTI وNYU Depth V2 الصعبة.