HyperAIHyperAI
منذ 2 أشهر

GLAMR: استعادة الشبكة البشرية العالمية مع الوعي بالحجب باستخدام الكاميرات الديناميكية

Yuan, Ye ; Iqbal, Umar ; Molchanov, Pavlo ; Kitani, Kris ; Kautz, Jan
GLAMR: استعادة الشبكة البشرية العالمية مع الوعي بالحجب باستخدام الكاميرات الديناميكية
الملخص

نقدم نهجًا لاستعادة الشبكة البشرية ثلاثية الأبعاد على مستوى العالم من مقاطع الفيديو أحادية العدسة المسجلة باستخدام كاميرات ديناميكية. يتميز هذا النهج بمقاومته للحجب الشديد والطويل الأمد، ويتعقب الأجساد البشرية حتى عندما تخرج عن مجال رؤية الكاميرا. لتحقيق ذلك، نقترح في البداية مولد حركة عميقًا يملأ الحركات الجسدية للأشخاص المحجوبين بشكل أوتوريغريسي (autoregressively) بناءً على الحركات المرئية. بالإضافة إلى ذلك، على عكس الأعمال السابقة، فإن نهجانا يستعيد الشبكات البشرية في إحداثيات عالمية ثابتة حتى مع الكاميرات الديناميكية. نظرًا لأن إعادة بناء حركات الإنسان ومواقع الكاميرا بشكل مشترك تكون غير محددة بشكل كافٍ، فقد اقترحنا متنبئ مسار عالمي يولد المسارات العالمية للإنسان بناءً على الحركات المحلية للجسم. باستخدام المسارات المتوقعة كنقاط ثابتة، نقدم إطار عمل تحسين عالمي يكرر المسارات المتوقعة ويوفر مواقع الكاميرا لتتوافق مع الأدلة المرئية مثل النقاط الرئيسية ثنائية الأبعاد (2D keypoints). تظهر التجارب على مجموعات بيانات صعبة داخل المنشآت وفي البيئة الطبيعية مع كاميرات ديناميكية أن النهج المقترح يتفوق بشكل كبير على الطرق السابقة فيما يتعلق بملء الحركة واستعادة الشبكة العالمية.

GLAMR: استعادة الشبكة البشرية العالمية مع الوعي بالحجب باستخدام الكاميرات الديناميكية | أحدث الأوراق البحثية | HyperAI