PointNetLK: تسجيل السحابة النقطية باستخدام PointNet بطريقة صلبة وكفوءة

لقد غيرت PointNet الطريقة التي نفكر بها في تمثيل السحب النقطية. بالنسبة للمهام التصنيفية والتقسيمية، تعد هذه الطريقة وممتداتها اللاحقة من أفضل التقنيات الحالية. ومع ذلك، لم تنجح التطبيقات السابقة لـ PointNet في تسجيل السحب النقطية بشكل واضح. في هذا البحث، نقترح أن يمكن اعتبار PointNet نفسها كدالة تصوير قابلة للتعلم. نتيجة لذلك، يمكن تطبيق الخوارزميات الكلاسيكية لمحاذاة الصور على المشكلة - وبشكل خاص خوارزمية Lucas & Kanade (LK). تأتي ابتكاراتنا الرئيسية من: (i) كيفية تعديل خوارزمية LK لاستيعاب دالة التصوير الخاصة بـ PointNet، و(ii) فك طيات PointNet وخوارزمية LK في شبكة عصبية عميقة متكررة قابلة للتدريب في إطار واحد. نصف الأطر العملانية ونقارن أدائها مع أفضل التقنيات الحالية في سيناريوهات التسجيل الشائعة. تتميز هذه الهندسة بخصائص ملحوظة تشمل: التعميم عبر فئات الأشكال وكفاءة الحساب - مما يفتح آفاقًا جديدة لاستكشاف تطبيقات التعلم العميق على تسجيل السحب النقطية. الرمز البرمجي والفيديوهات متاحة على الرابط https://github.com/hmgoforth/PointNetLK.