CholecTriplet2021: تحدي معياري لتمييز ثلاثيات الإجراء الجراحي

الدعم القرار المدرك للسياق في غرفة العمليات يمكن أن يعزز السلامة والكفاءة الجراحية من خلال الاستفادة من التغذية الراجعة الفورية التي تأتي من تحليل سير العمل الجراحي. ومع ذلك، فإن معظم الأعمال الحالية تعترف بالأنشطة الجراحية على مستوى خشن، مثل المراحل أو الخطوات أو الأحداث، مما يؤدي إلى إهمال تفاصيل التفاعل الدقيق حول النشاط الجراحي؛ وهذه التفاصيل ضرورية لتقديم مساعدة ذكاء اصطناعي أكثر فائدة في غرفة العمليات. يعتبر الاعتراف بالأعمال الجراحية كثلاثيات من نوع <أداة، فعل، هدف> طريقة توفر تفاصيل شاملة عن الأنشطة التي تحدث في مقاطع الفيديو الجراحية. يقدم هذا البحث "CholecTriplet2021": تحدي رؤية المنظار الباطني الذي نظمته مؤتمر MICCAI 2021 للاعتراف بثلاثيات الأفعال الجراحية في الفيديوهات البطنية المنظارية. منح هذا التحدي الوصول الخاص إلى مجموعة بيانات CholecT50 الضخمة، والتي تم توثيقها بمعلومات ثلاثيات الأفعال. في هذا البحث، نقدم بنية التحدي وتقييم أحدث الأساليب العميقة للتعلم التي اقترحها المشاركون خلال التحدي. يتم تقديم أربع طرق أساسية من قبل منظمي التحدي و19 خوارزمية جديدة للتعلم العميق من قبل الفرق المشاركة للاعتراف بثلاثيات الأفعال الجراحية مباشرة من مقاطع الفيديو الجراحية، مما حقق دقة متوسطة (mAP) تتراوح بين 4.2% و38.1%. كما يقوم هذا البحث بتحليل أهمية النتائج التي تم الحصول عليها بواسطة الأساليب المقدمة ويقوم بمقارنة منهجية شاملة بينها وتحليل نتائج متعمق ويقترح طريقة جديدة للتجميع لتحقيق الاعتراف المعزز. يظهر تحليلنا أن تحليل سير العمل الجراحي لم يتم حلّه بعد، كما أنه يسلط الضوء على اتجاهات مثيرة للاهتمام للبحث المستقبلي حول الاعتراف بالنشاط الجراحي الدقيق للغاية، والذي يعد حاسمًا لتطوير الذكاء الاصطناعي في مجال الجراحة.