MuST: متعدد المقاييس من المتحولات لتمييز مراحل الجراحة
التعرف على المراحل الجراحية في مقاطع الفيديو أمر حاسم لتعزيز أنظمة الجراحة المدعومة بالحاسوب، حيث يمكّن من فهم تلقائي للمراحل الإجرائية التسلسلية. غالبًا ما تعتمد الطرق الحالية على نوافذ زمنية ثابتة لتحليل الفيديو وتحديد المراحل الجراحية الديناميكية. لذلك، فإنها تواجه صعوبة في التقاط المعلومات قصيرة ومتوسطة وطويلة الأجل اللازمة لفهم الإجراءات الجراحية المعقدة بشكل كامل. للتعامل مع هذه القضايا، نقترح استخدام متعدد مقياس الترانسفورمرات للتعرف على المراحل الجراحية (MuST)، وهو نهج جديد يستند إلى الترانسفورمرات ويجمع بين مُشفِّر الإطار متعدد المصطلحات ووحدة التجانس الزمني لتقاط المعلومات عبر مقياس زمني متعدد لمقطع الفيديو الجراحي. يقوم مُشفِّر الإطار متعدد المصطلحات لدينا بحساب العلاقات المتبادلة عبر هرم من المقاييس الزمنية عن طريق أخذ عينات من التتابعات بخطوات متزايدة حول الإطار محل الاهتمام. بالإضافة إلى ذلك، نستخدم مُشفِّر ترانسفورمر طويل الأجل فوق تضمينات الإطارات لتعزيز الاستدلال طويل الأجل بشكل أكبر. يحقق MuST أداءً أعلى من الطرق الرائدة سابقًا في ثلاثة مقاييس عامة مختلفة.