NeuralPCI: حقل عصبي مكاني-زماني للتنطيم غير الخطي متعدد الإطارات لنقطة السحابة ثلاثية الأبعاد

في السنوات الأخيرة، شهدت مهمة التكميل في رؤية الحاسوب زيادة كبيرة في الاهتمام. على الرغم من التقدم الهائل الذي أحرزته تقنيات تكميل الفيديو، فإن تكميل السحابة النقطية لا يزال مجالًا غير مستكشف بشكل كافٍ. بالإضافة إلى ذلك، وجود العديد من الحركات الكبيرة وغير الخطية في السيناريوهات الواقعية يجعل مهمة تكميل السحابة النقطية أكثر تحديًا. نظرًا لهذه القضايا، نقدم NeuralPCI: حقل عصبي مكاني-زماني (4D Spatio-Temporal Neural Field) من النهاية إلى النهاية لـ تكميل السحابة النقطية ثلاثية الأبعاد (3D Point Cloud Interpolation)، والذي يدمج المعلومات متعددة الإطارات ضمنيًا للتعامل مع الحركات الكبيرة وغير الخطية في كل من السيناريوهات الداخلية والخارجية. علاوة على ذلك، قمنا ببناء مجموعة بيانات جديدة لتكميل السحابة النقطية متعددة الإطارات تسمى NL-Drive، والتي تستهدف الحركات الكبيرة وغير الخطية في مشاهد القيادة الذاتية لتقديم دليل أفضل على تفوق طريقتنا. في النهاية، حقق NeuralPCI أداءً رائدًا في كل من مجموعتي البيانات DHB (الجسوم البشرية الديناميكية) وNL-Drive. بالإضافة إلى مهمة التكميل، يمكن توسيع طريقتنا بشكل طبيعي إلى تكملة خارج نطاق البيانات (Extrapolation)، التشكيل (Morphing)، والتسميات التلقائية (Auto-labeling)، مما يشير إلى إمكاناتها الكبيرة في مجالات أخرى. الرموز البرمجية متاحة على الرابط https://github.com/ispc-lab/NeuralPCI.