التعرف على المستوى البكسلية لفهم شامل للسياق الجراحي

تُقدّم هذه الورقة البحثية مجموعة بيانات "الفهم الشامل والمتعدد التفاصيل لمشهد الجراحة في استئصال البروستاتا" (GraSP)، وهي مجموعة معيارية مُنتقاة تُمثّل فهم مشهد الجراحة كهرم مهام متكاملة ومتداخلة بمستويات مختلفة من التفاصيل. يشمل نهجنا مهامًا طويلة الأمد، مثل تحديد مرحلة الجراحة وخطواتها، بالإضافة إلى مهام قصيرة الأمد، مثل تقسيم الأدوات الجراحية وتحديد الإجراءات البصرية الأساسية. وللاستفادة من المجموعة المعيارية المُقترحة، نقدّم نموذج TAPIS (Transformers for Actions, Phases, Steps, and Instrument Segmentation)، وهو معمارية عامة تدمج مستخرجًا عامًا للسمات الفيديوية مع اقتراحات منطقية للمناطق المستمدة من نموذج تقسيم الأدوات الجراحية، بهدف معالجة التعددية في التفاصيل المُتعلقة بناية المجموعة. وعبر تجارب واسعة على مجموعة GraSP وعلى مجموعات معيارية بديلة، نُظهر مرونة نموذج TAPIS وأداؤه القياسي في مختلف المهام. تمثل هذه الدراسة خطوة أساسية في مجال الرؤية الجراحية بالمنظار، وتقدّم إطارًا جديدًا لبحوث مستقبلية تسعى إلى فهم شامل لمشهد الجراحة.