إعادة استخدام التمثيل لتحليل الفيديو التدفقي

نقدّم طريقة StreamDEQ، التي تهدف إلى استخلاص تمثيلات مُتعدّدة للإطارات في مقاطع الفيديو مع الحد الأدنى من الحسابات لكل إطار. تُجرِي الشبكات العميقة التقليدية استخلاص الميزات من الصفر في كل إطار، في غياب حلول مخصصة لهذا الغرض. بدلًا من ذلك، نسعى إلى بناء نماذج اعتراف متسلسلة (streaming) قادرة على الاستفادة الطبيعية من السلسة الزمنية بين الإطارات المتتالية في الفيديو. لاحظنا أن النماذج الطبقيّة الضمنية (implicit layer models) التي بدأت تظهر مؤخرًا توفر أساسًا مناسبًا لبناء مثل هذه النماذج، حيث تُعرّف التمثيلات كنقاط ثابتة (fixed-points) لشبكات سطحية (shallow networks)، والتي تتطلب تقديرها باستخدام طرق تكرارية. يكمن رؤيتنا الأساسية في توزيع عمليات التكرار المستخدمة في الاستنتاج على طول المحور الزمني، وذلك باستخدام أحدث تمثيل متاح كنقطة بداية في كل إطار. يُعد هذا النموذج فعّالًا في إعادة استخدام الحسابات المستندة إلى الاستنتاجات السابقة، مما يقلل بشكل كبير من الوقت اللازم للمعالجة. من خلال تحليل تجريبي واسع النطاق، نُظهر أن StreamDEQ قادرة على استعادة تمثيلات قريبة من المثالية في غضون عدد قليل من الإطارات، مع الحفاظ على تمثيل مُحدّث طوال مدة الفيديو. تُظهر تجاربنا على تقسيم الفيديو معنىً (video semantic segmentation)، وتحديد الكائنات في الفيديو (video object detection)، وتقدير وضعية الإنسان في الفيديو (human pose estimation)، أن StreamDEQ تحقق دقة مماثلة للنموذج الأساسي (baseline)، مع تسريع يتجاوز 2 إلى 4 أضعاف.