HyperAIHyperAI
منذ 2 أشهر

النهج المراقب بشكل ضعيف لشبكات LSTM التلافيفية لتتبع الأدوات في مقاطع الفيديو البطنية

Nwoye, Chinedu Innocent ; Mutter, Didier ; Marescaux, Jacques ; Padoy, Nicolas
النهج المراقب بشكل ضعيف لشبكات LSTM التلافيفية لتتبع الأدوات في مقاطع الفيديو البطنية
الملخص

الغرض: تتبع الأدوات الجراحية في الوقت الفعلي هو عنصر أساسي من عناصر غرفة العمليات الذكية المستقبلية (OR)، لأنه يلعب دورًا مهمًا في تحليل وفهم الأنشطة الجراحية. تحتاج الطرق الحالية لتتبع الأدوات الجراحية في مقاطع الفيديو إلى التدريب على بيانات يتم فيها تسمية المواقع المكانية للأدوات يدويًا. إنتاج مثل هذه البيانات التدريبية صعب ومُستهلك للوقت. بدلاً من ذلك، نقترح استخدام تسميات الحضور الثنائية فقط لتدريب مُتعقب للأدوات في مقاطع الفيديو المنظار البطن (laparoscopic videos).الطرق: يتكون النهج المقترح من شبكة عصبية CNN + LSTM التلافيفي (ConvLSTM) مدربة بشكل شامل ولكن تحت إشراف ضعيف يقتصر على تسميات الحضور الثنائية للأدوات فقط. نستخدم ConvLSTM لنمذجة الارتباطات الزمنية في حركة الأدوات الجراحية والاستفادة من قدرتها المكانية-الزمنية لتخفيف ذروات فئات التنشيط في خرائط الحرارة للتوضيح (Lh-maps).النتائج: نبني مُتعقبًا أساسيًا فوق نموذج CNN ونثبت أن نهجنا المستند إلى ConvLSTM يتفوق على الأساس في اكتشاف حضور الأداة، والتوضيح المكاني، وتتبع الحركة بنسبة تزيد عن 5.0٪، 13.9٪، و12.6٪ على التوالي.الاستنتاجات: في هذا البحث، نثبت أن تسميات الحضور الثنائية كافية لتدريب نموذج تتبع عميق باستخدام النهج المقترح لدينا. كما نظهر أن ConvLSTM يمكنها الاستفادة من التجانس المكانى-الزماني للصور المتتابعة عبر مقطع الفيديو الجراحي لتحسين اكتشاف حضور الأداة، والتوضيح المكاني، وتتبع الحركة.كلمات مفتاحية: تحليل سير العمل الجراحي، تتبع الأدوات، الإشراف الضعيف، التجانس المكانى-الزماني، ConvLSTM، مقاطع الفيديو المنظارية

النهج المراقب بشكل ضعيف لشبكات LSTM التلافيفية لتتبع الأدوات في مقاطع الفيديو البطنية | أحدث الأوراق البحثية | HyperAI