HyperAIHyperAI
منذ 2 أشهر

شبكة تكرارية تلافيفية متعددة المهام مع خسارة الارتباط لتحليل الفيديو الجراحي

Yueming Jin; Huaxia Li; Qi Dou; Hao Chen; Jing Qin; Chi-Wing Fu; Pheng-Ann Heng
شبكة تكرارية تلافيفية متعددة المهام مع خسارة الارتباط لتحليل الفيديو الجراحي
الملخص

اكتشاف أدوات الجراحة وتعرف مراحل الجراحة هما مهمتان أساسيتان ومعقدتان في تحليل مقاطع الفيديو الجراحية، وهما أيضًا مكونان ضروريان للغاية في العديد من التطبيقات في غرف العمليات الحديثة. على الرغم من أن هاتين المهمتين مرتبطتان بشكل كبير في الممارسة السريرية حيث يتم تعريف العملية الجراحية بشكل جيد، إلا أن معظم الطرق السابقة قد واجهتهما بشكل منفصل دون الاستفادة الكاملة من ارتباطهما. في هذا البحث، نقدم طريقة جديدة تم تطويرها باستخدام شبكة متعددة المهام ذات التكرار والتشابك مع خسارة الارتباط (MTRCNet-CL) لاستغلال ارتباطهما وتعزيز أداء كلا المهمتين بشكل متزامن. بصفة خاصة، يحتوي نموذج MTRCNet-CL المقترح لدينا على بنية من النهاية إلى النهاية تتضمن فرعين يشتركان في مُشفِّرات الخصائص الأولى لاستخراج الخصائص البصرية العامة بينما يحتفظ كل منها بطبقات أعلى مستهدفة للمهام الخاصة به. بالنظر إلى أهمية المعلومات الزمنية للتعرف على المراحل، تم استكشاف ذاكرة طويلة قصيرة الأجل (LSTM) لنمذجة الاعتمادات التسلسلية في فرع التعرف على المراحل. وأكثر أهمية من ذلك، تم تصميم خسارة ارتباط جديدة وفعالة لنمذجة العلاقة بين وجود الأدوات وتعرف الهوية المرحلية لكل إطار فيديو، وذلك عن طريق تقليل الانحراف بين التوقعات المنبثقة من الفرعين. باستغلال كل من تقاسم الخصائص المستوى المنخفض والتنبؤات المرتبطة المستوى العالي بشكل متبادل، يمكن لطريقة MTRCNet-CL لدينا تشجيع التفاعلات بين المهمتين إلى حد كبير وبالتالي تحقيق فوائد متبادلة لهما. تُظهر التجارب الواسعة التي أجريت على مجموعة بيانات كبيرة لمقطع الفيديو الجراحي (Cholec80) أداءً بارزًا للطريقة المقترحة لدينا، حيث تتفوق باستمرار على أفضل الأساليب الحالية بمعدل كبير (مثل 89.1٪ مقابل 81.0٪ بالنسبة لـ mAP في اكتشاف وجود الأدوات و87.4٪ مقابل 84.5٪ بالنسبة لـ F1 score في التعرف على المراحل). يمكن العثور على الكود في موقع مشروعنا الإلكتروني.

شبكة تكرارية تلافيفية متعددة المهام مع خسارة الارتباط لتحليل الفيديو الجراحي | أحدث الأوراق البحثية | HyperAI