SF-TMN: شبكة نمذجة زمنية بطيئة-سريعة للتعرف على المراحل الجراحية

تمثّل التعرف التلقائي على مراحل الجراحة واحدة من التقنيات الأساسية التي تدعم أنظمة التقييم القائمة على الفيديو (VBA) في مجال التعليم الجراحي. يُعدّ استغلال المعلومات الزمنية أمرًا بالغ الأهمية للتعريف بمرحلات الجراحة، وبالتالي فإن العديد من النماذج الحديثة تستخرج ميزات على مستوى الإطارات لتنفيذ نمذجة زمنية شاملة للفيديو بأكمله. ولتحسين النمذجة الزمنية، نقترح شبكة نمذجة زمنية بطيئة-سريعة (SF-TMN) مخصصة للتعريف بمرحلات الجراحة، والتي تُتيح لا فقط النمذجة الزمنية الشاملة على مستوى الإطارات، بل أيضًا النمذجة الزمنية الشاملة على مستوى المقاطع. نستخدم شبكة استخراج الميزات التي تم تدريبها مسبقًا على مجموعة البيانات المستهدفة لاستخراج الميزات من إطارات الفيديو، وذلك كبيانات تدريب لشبكة SF-TMN. تستخدم المسار البطيء في SF-TMN جميع ميزات الإطارات لتنفيذ النمذجة الزمنية على مستوى الإطارات، بينما يستخدم المسار السريع في SF-TMN ميزات على مستوى المقاطع، والتي تم استخلاصها من ميزات الإطارات، لتنفيذ النمذجة الزمنية على مستوى المقاطع. يتميز النموذج المقترح بمرونة عالية فيما يتعلق باختيار شبكات النمذجة الزمنية. ونستكشف نماذج MS-TCN وASFormer كشبكات نمذجة زمنية، ونختبر استراتيجيات متعددة للتركيب بين المسار البطيء والمسار السريع. ونُقيّم SF-TMN على مهمة التعرف على مراحل الجراحة في مجموعة Cholec80، ونُظهر أن SF-TMN تحقق نتائج منافسة للحالة الراهنة في جميع المقاييس المُختارة. وتفوق نسخة SF-TMN التي تستخدم ASFormer كهيكل أساسي (backbone) الطريقة المُتقدمة الحالية غير المُتسلسلة (Not End-to-End (TCN)) بنسبة 2.6% في الدقة وبنسبة 7.4% في معامل جاكارد (Jaccard score). كما قمنا بتقييم SF-TMN على مجموعات بيانات تقسيم الإجراءات، بما في ذلك 50salads وGTEA وBreakfast، وحققنا نتائج منافسة للحالة الراهنة. وتشير التحسينات في النتائج إلى أن دمج المعلومات الزمنية من كلا المستويين — الإطاري والمقصوصي — من خلال تحسين النتائج باستخدام مراحل تحسين زمنية (temporal refinement stages) يُعدّ مفيدًا بشكل كبير لتحسين النمذجة الزمنية لمرحلات الجراحة.