الشبكات العصبية المقيدة زمنيًا (TCNN): إطار عمل للفصل الدلالي للفيديو شبه المُدرَّب

يعتبر العائق الرئيسي أمام بناء نماذج فعالة للتحليل الدلالي، وبخاصة التحليل الدلالي للفيديوهات، نقص المجموعات الكبيرة والموثقة جيدًا من البيانات. ويُعد هذا العائق أكثر إلحاحًا في المجالات المتخصصة والخاضعة للتنظيم مثل الطب والجراحة، حيث يمكن أن يكون التحليل الدلالي للفيديوهات له تطبيقات مهمة، لكن البيانات والتعليقات الخبيرة نادرة جدًا. وفي هذه البيئات، يمكن استغلال المؤشرات الزمنية والقيود التشريحية أثناء التدريب لتحسين الأداء. هنا، نقدم نماذج الشبكات العصبية المقيدة زمنيًا (TCNN)، وهي إطار عمل شبه مراقب يستخدم للتحليل الدلالي للفيديوهات في سياق الفيديوهات الجراحية. وفي هذا العمل، نُظهر أن شبكات المُشَكِّل التلقائي (autoencoder) يمكن استخدامها بكفاءة لتوفير إشارات إشرافية مكانيّة وزمانيّة لتدريب نماذج التعلم العميق. وقد اختبرنا طريقةنا على مجموعة بيانات فيديو جديدة تُعرف باسم "إيندوسكابس" (Endoscapes)، المُخصصة لإجراءات استئصال المرارة بالمنظار، وعلى نسخة معدلة من مجموعة بيانات عامة لإجراءات جراحات المياه البيضاء (CaDIS). ونُظهر أن التمثيلات ذات الأبعاد المنخفضة للقناعات المُتنبأ بها يمكن استغلالها لتقديم تحسين مستمر على مجموعات البيانات المُعلَّمة بشكل محدود، دون أي تكلفة إضافية في مرحلة الاستنتاج. علاوةً على ذلك، فإن إطار TCNN لا يعتمد على نموذج معين، ويمكن استخدامه جنبًا إلى جنب مع خيارات تصميم نماذج أخرى بتعقيد إضافي ضئيل جدًا.