Command Palette
Search for a command to run...
التعلم الذاتي التوافقي الزمني من خلال توقع ترتيب مقاطع الفيديو
التعلم الذاتي التوافقي الزمني من خلال توقع ترتيب مقاطع الفيديو
Yueting Zhuang Di Xie Jian Shao Zhou Zhao Jun Xiao Dejing Xu
الملخص
نُقدّم تقنية تعلّم ذاتي مكاني-زمني تُستخدَم فيها الترتيب الزمني للفيديوهات. يمكن لطرقنا تعلّم التمثيل المكاني-الزمني للفيديو من خلال التنبؤ بترتيب القطع المُختلطة من الفيديو. ولا تتطلب هذه التقنية تحديد فئة الفيديو، مما يمنحها القدرة على الاستفادة من عدد لا نهائي من الفيديوهات غير المُصنّفة. توجد أعمال ذات صلة تستخدم الإطارات (Frames)، ولكن مقارنة بالإطارات، تُعتبر القطع (Clips) أكثر توافقًا مع الديناميات الزمنية للفيديو. إذ تساعد القطع في تقليل عدم اليقين في الترتيب، وهي أكثر ملاءمة لتعلم تمثيل الفيديو. وتُستخدم الشبكات العصبية التلافيفية الثلاثية الأبعاد (3D Convolutional Neural Networks) لاستخراج الميزات من القطع، ثم تُعالج هذه الميزات للتنبؤ بالترتيب الفعلي. وتُقيّم التمثيلات المُكتسبة من خلال تجارب استرجاع الجيران الأقرب. كما نستخدم الشبكات المُكتسبة كنماذج مُدرّبة مسبقًا ونُعدّلها (Fine-tune) على مهمة التعرف على الحركات. وقد جُرّبت ثلاث أنواع من الشبكات العصبية التلافيفية الثلاثية الأبعاد في التجارب، وحقّقنا تحسينات كبيرة مقارنة بالأساليب الذاتية التعلّم الحالية.