التعلم شبه المشرف لتحديد موقع الأدوات في مقاطع الفيديو البطنية

تحديد أدوات الجراحة هو مهمة أساسية لتحليل الفيديوهات التنظيرية تلقائيًا. في الأدبيات، تتطلب الطرق الحالية لتحديد موقع الأدوات ومتابعتها وتقسيمها بيانات تدريب مُشَرَّحة بالكامل، مما يحد من حجم المجموعات التي يمكن استخدامها ومن تعميم النهج. في هذا العمل، نقترح التغلب على نقص البيانات المشروحة باستخدام الإشراف الضعيف. نقترح بنية عميقة تم تدريبها فقط على شروحات مستوى الصورة، والتي يمكن استخدامها لكشف وجود الأدوات وتحديد موقعها في الفيديوهات الجراحية. تعتمد هندستنا على شبكة عصبية تقنية التفتيش الكاملة (Fully Convolutional Neural Network)، التي يتم تدريبها من البداية إلى النهاية، مما يمكّننا من تحديد موقع أدوات الجراحة دون الحاجة إلى شروحات فضائية صريحة. نوضح فوائد نهجنا على مجموعة بيانات عامة كبيرة هي Cholec80، والتي تم تشريحها بالكامل بمعلومات ثنائية عن وجود الأداة، وقد تم تشريح 5 فيديوهات منها بالكامل بصناديق الحدود ومراكز الأدوات لتقييم الأداء.