LABRAD-OR: رُسُومات مُتَّصِلة خفيفة الوزن للذاكرة لاستنتاج ثنائي الوسائط الدقيق في غرف العمليات الديناميكية

تُجرى العمليات الجراحية الحديثة في بيئات معقدة وديناميكية، تتضمن تفاعلات متغيرة باستمرار بين الموظفين الطبيين والمرضى والتجهيزات. وبالتالي، يُعد نمذجة غرفة العمليات (OR) بشكل شمولي مهمة صعبة ولكنها ضرورية، حيث يمتلك القدرة على تحسين أداء الفرق الجراحية ودعم تطوير تقنيات جراحية جديدة لتحسين نتائج المرضى. يُعد تمثيل المشاهد الجراحية بشكل شمولي كمخططات مشهدية معنوية (SGG)، حيث تمثل الكيانات كعُقد، والعلاقات بينها كحواف، اتجاهًا واعدًا لفهم دقيق ودقيق لغرفة العمليات من الناحية المعنوية. نقترح لأول مرة استخدام المعلومات الزمنية لتحسين دقة واتساق النمذجة الشمولية لغرفة العمليات. وبشكل خاص، نقدم مخططات مشهدية ذات ذاكرة، حيث تُستخدم مخططات المشهد من اللحظات الزمنية السابقة كتمثيل زمني يوجه التنبؤ الحالي. وقد صممنا بنية نهائية (end-to-end) تدمج ذكياً المعلومات الزمنية من مخططاتنا المشهدية الخفيفة الوزن مع المعلومات البصرية المستمدة من السحابات النقطية والصور. وقد قمنا بتقييم طريقتنا على مجموعة بيانات 4D-OR، ونُظهر أن دمج العنصر الزمني يؤدي إلى نتائج أكثر دقة واتساقًا، مع تحقيق زيادة بنسبة +5% وتحقيق سجل قياسي جديد (SOTA) بقيمة 0.88 في مقياس F1 الكلي. تُفتح هذه الدراسة الطريق أمام تمثيل تاريخ الجراحة بأكمله باستخدام مخططات المشهد ذات الذاكرة، وتحسّن الفهم الشمولي لغرفة العمليات. ويُعد إدخال مخططات المشهد كتمثيلات ذاكرة أداة قيمة جدًا لعدد من المهام المتعلقة بالفهم الزمني.