HyperAIHyperAI

Command Palette

Search for a command to run...

شبكة تكرارية تلافيفية متعددة المهام مع خسارة الارتباط لتحليل الفيديو الجراحي

Yueming Jin Huaxia Li Qi Dou* Hao Chen Jing Qin Chi-Wing Fu Pheng-Ann Heng

الملخص

اكتشاف أدوات الجراحة وتعرف مراحل الجراحة هما مهمتان أساسيتان ومعقدتان في تحليل مقاطع الفيديو الجراحية، وهما أيضًا مكونان ضروريان للغاية في العديد من التطبيقات في غرف العمليات الحديثة. على الرغم من أن هاتين المهمتين مرتبطتان بشكل كبير في الممارسة السريرية حيث يتم تعريف العملية الجراحية بشكل جيد، إلا أن معظم الطرق السابقة قد واجهتهما بشكل منفصل دون الاستفادة الكاملة من ارتباطهما. في هذا البحث، نقدم طريقة جديدة تم تطويرها باستخدام شبكة متعددة المهام ذات التكرار والتشابك مع خسارة الارتباط (MTRCNet-CL) لاستغلال ارتباطهما وتعزيز أداء كلا المهمتين بشكل متزامن. بصفة خاصة، يحتوي نموذج MTRCNet-CL المقترح لدينا على بنية من النهاية إلى النهاية تتضمن فرعين يشتركان في مُشفِّرات الخصائص الأولى لاستخراج الخصائص البصرية العامة بينما يحتفظ كل منها بطبقات أعلى مستهدفة للمهام الخاصة به. بالنظر إلى أهمية المعلومات الزمنية للتعرف على المراحل، تم استكشاف ذاكرة طويلة قصيرة الأجل (LSTM) لنمذجة الاعتمادات التسلسلية في فرع التعرف على المراحل. وأكثر أهمية من ذلك، تم تصميم خسارة ارتباط جديدة وفعالة لنمذجة العلاقة بين وجود الأدوات وتعرف الهوية المرحلية لكل إطار فيديو، وذلك عن طريق تقليل الانحراف بين التوقعات المنبثقة من الفرعين. باستغلال كل من تقاسم الخصائص المستوى المنخفض والتنبؤات المرتبطة المستوى العالي بشكل متبادل، يمكن لطريقة MTRCNet-CL لدينا تشجيع التفاعلات بين المهمتين إلى حد كبير وبالتالي تحقيق فوائد متبادلة لهما. تُظهر التجارب الواسعة التي أجريت على مجموعة بيانات كبيرة لمقطع الفيديو الجراحي (Cholec80) أداءً بارزًا للطريقة المقترحة لدينا، حيث تتفوق باستمرار على أفضل الأساليب الحالية بمعدل كبير (مثل 89.1٪ مقابل 81.0٪ بالنسبة لـ mAP في اكتشاف وجود الأدوات و87.4٪ مقابل 84.5٪ بالنسبة لـ F1 score في التعرف على المراحل). يمكن العثور على الكود في موقع مشروعنا الإلكتروني.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp