HyperAIHyperAI
منذ 13 أيام

شبكة ت(Convolutional) رسمية فاصلة في الفضاء والزمن للتنبؤ بالوضعية

Theodoros Sofianos, Alessio Sampieri, Luca Franco, Fabio Galasso
شبكة ت(Convolutional) رسمية فاصلة في الفضاء والزمن للتنبؤ بالوضعية
الملخص

تنبؤ وضعية الإنسان هو مهمة معقدة لنمذجة تسلسلات البيانات المهيكلة، وقد لاقت اهتمامًا متزايدًا، نظرًا لعدد كبير من التطبيقات المحتملة. ركزت الأبحاث بشكل رئيسي على البعد الزمني على شكل سلسلة زمنية، والتفاعل بين مفاصل الجسم البشري باستخدام شجرة حركية أو عبر رسم بياني. وقد سمح هذا النهج بفصل الجوانب المتعارضة وتحقيق تقدم من المجالات ذات الصلة، لكنه في الوقت نفسه قيد الفهم العميق للديناميكيات المكانية-الزمنية المعقدة للمفاصل في وضعية الجسم البشري. في هذا العمل، نقترح شبكة توليفية رسمية (Graph Convolutional Network) جديدة تُسمى STS-GCN (شبكة توليفية رسمية مفصولة مكانيًا وزمانيًا) لتنبؤ وضعية الإنسان. لأول مرة، تقوم STS-GCN بنمذجة ديناميكيات وضعية الإنسان باستخدام شبكة توليفية رسمية واحدة فقط، بما يشمل التطور الزمني والتفاعل المكاني بين المفاصل ضمن إطار رسم بياني موحد، مما يتيح التفاعل بين الحركة والارتباطات المكانية. وفي الوقت نفسه، تمثل STS-GCN أول شبكة توليفية رسمية مفصولة مكانيًا وزمانيًا: حيث يتم تحليل اتصال الرسم البياني المكاني-الزمني إلى مصفوفتين للارتباط (affinity matrices) – واحدة مكانيّة وأخرى زمنيّة – مما يحد من التفاعل بين البُعد المكاني والزمني، لكنه يتيح في المقابل ارتباطات كاملة بين المفاصل (joint-joint) والزمن (time-time). وتُتعلم كلا مصفوفتي الارتباط بشكل منتهي (end-to-end)، مما يؤدي إلى تكوين اتصالات تختلف بشكل كبير عن الشجرة الحركية القياسية وسلسلة الزمن الخطية التقليدية. وقد أظهرت التجارب على ثلاث معايير حديثة ومتقدمة وواسعة النطاق – Human3.6M [Ionescu et al. TPAMI'14]، AMASS [Mahmood et al. ICCV'19]، و3DPW [Von Marcard et al. ECCV'18] – أن STS-GCN تتفوق على أحدث التقنيات، حيث تتجاوز التقنية الأفضل حاليًا [Mao et al. ECCV'20] بنسبة تزيد عن 32% في المتوسط في التنبؤات طويلة المدى الأكثر صعوبة، مع الحاجة فقط إلى 1.7% من عدد معلمات هذه التقنية. ونقدّم شرحًا نوعيًا للنتائج، ونُظهر التفاعلات الرسومية من خلال الاتصالات الرسومية المُتعلّمة التي تم تحليلها (factored) بين المفاصل وبين الفترات الزمنية.كود المصدر متاح عبر: https://github.com/FraLuca/STSGCN

شبكة ت(Convolutional) رسمية فاصلة في الفضاء والزمن للتنبؤ بالوضعية | أحدث الأوراق البحثية | HyperAI