شبكات الـ 4D مكاني-زمانية: شبكات العصبونات المتشابكة المينكوفسكي

في العديد من تطبيقات الروبوتات والواقع الافتراضي والواقع المعزز، تعتبر مقاطع الفيديو ثلاثية الأبعاد مصادر متاحة بسهولة للمدخلات (سلسلة مستمرة من صور العمق أو مسحات الليدار). ومع ذلك، يتم معالجة هذه مقاطع الفيديو ثلاثية الأبعاد إطارًا بإطار إما عبر شبكات الCONV ثنائية الأبعاد أو خوارزميات الإدراك ثلاثية الأبعاد. في هذا العمل، نقترح استخدام شبكات العصبونات التلافيفية رباعية الأبعاد للإدراك الزماني المكاني التي يمكنها معالجة مثل هذه مقاطع الفيديو ثلاثية الأبعاد مباشرة باستخدام التلافيف ذات البعد العالي. لهذا الغرض، نعتمد على المتجهات النادرة ونقترح التلفيف النادر العام الذي يشمل جميع التلافيف المنفصلة. لتنفيذ التلفيف النادر العام، ننشئ مكتبة تفاضل ذاتي مفتوحة المصدر للمتجهات النادرة توفر وظائف واسعة لشبكات العصبونات التلافيفية ذات البعد العالي. ننشئ شبكات عصبونات تلافيفية رباعية الأبعاد زمانياً ومكانيًا باستخدام هذه المكتبة ونتحقق من صحتها على مجموعة متنوعة من مقاييس التقسيم الدلالي ثلاثي الأبعاد وأيضًا على مجموعات بيانات مقترحة رباعية الأبعاد لمقطع الفيديو ثلاثي الأبعاد. لتجاوز تحديات الفضاء رباعي الأبعاد، نقترح النواة الهجينة، وهي حالة خاصة من التلفيف النادر العام، والمجال العشوائي الشرطي الثلاثي الثابت الذي يفرض ثباتًا زمانيًا ومكانيًا في فضاء الزمان-المكان-اللون السباعي (7D space-time-chroma space). تجريبياً، نظهر أن شبكات العصبونات التلافيفية التي تعتمد فقط على التلافيف النادرة العامة ثلاثية الأبعاد يمكن أن تتفوق بشكل كبير على الأساليب الثنائية أو الهجينة ثنائية-ثلاثية الأبعاد. كما نظهر أن شبكات العصبونات التلافيفية رباعية الأبعادات الزمان-المكان أقوى ضد الضوضاء عند التعامل مع مقاطع الفيديو ثلاثية الأبعاد، وتتفوق على شبكات العصبونات التلافيفية ثلاثية الأبعاد وتكون أسرع منها في بعض الحالات.