CholecTriplet2022: عرض الأداة وأخبرني بالثلاثي -- تحدي الرؤية الباطنية للجهاز الهضمي للكشف عن الثلاثي الجراحي

تُعدُّ صياغة الأنشطة الجراحية على شكل ثلاثيات من الأدوات المستخدمة، والأعمال المنفَّذة، والأنسجة المستهدفة، نهجًا قياسيًّا مثاليًّا لنمذجة الأنشطة الجراحية. الفائدة تكمن في أن هذه الصياغة تساعد في الحصول على فهم أكثر تفصيلًا للتفاعل بين الأداة والأنسجة، مما يمكن استخدامه لتطوير مساعدة أفضل من الذكاء الاصطناعي في الجراحة الموجهة بالصورة. قد أدى الجهود السابقة وتحدي CholecTriplet الذي تم تقديمه في عام 2021 إلى وضع تقنيات تستهدف التعرف على هذه الثلاثيات من تسجيلات الجراحة. كما أن تقدير مواقع هذه الثلاثيات المكانية سيقدم دعمًا قراريًّا أكثر دقة ووعيًا بالسياق أثناء العملية للتدخل المدعوم بالحاسوب. يعرض هذا البحث تحدي CholecTriplet2022، والذي يوسع نمذجة الثلاثيات الجراحية من التعرف إلى الكشف. يتضمن تحديد موقع كل أداة جراحية (أو أداة) مرئية بشكل ضعيف الإشراف، باعتبارها الممثلين الرئيسيين، ونمذجة كل نشاط أداة على شكل ثلاثية <أداة، فعل، هدف>. يصف البحث طريقة أساسية وعشر خوارزميات تعلم عميقة جديدة تم تقديمها في التحدي لحل المهمة. كما يقدم مقارنات منهجية شاملة لهذه الطرق، وتحليلًا عميقًا للنتائج المتحصل عليها عبر عدة مقاييس ومعيقات بصرية وإجرائية؛ أهميتها وأفكار ثمينة للمستقبل في اتجاهات البحث والتطبيقات في مجال الجراحة.