4D-OR: رُسُومات المُشاهدَة الدلالية لنموذج مجال OR

تُجرى الإجراءات الجراحية في غرف عمليات معقدة للغاية، تضم مجموعة متنوعة من الجهات الفاعلة والأجهزة والتفاعلات. حتى الآن، لا يزال بإمكان الخبراء البشريين المدربين طبيًا وحدهم فهم جميع الروابط والتفاعلات في هذا البيئة المطلوبة بشكل كبير. يهدف هذا البحث إلى إدخال خطوة متقدمة نحو الفهم التلقائي الشامل والدقيق للسياق في مجال غرفة العمليات، بالإضافة إلى نمذجته. وبهدف تحقيق هذا الهدف، نقترح لأول مرة استخدام رسومات المشهد المعجمية (SSG) لوصف وملخص المشهد الجراحي. حيث تمثل العقد في هذه الرسومات الجهات الفاعلة والكائنات المختلفة في الغرفة، مثل الموظفين الطبيين والمرضى والأجهزة الطبية، بينما تمثل الحواف العلاقات بينها. وللتحقق من إمكانات التمثيل المقترح، قمنا بإنشاء أول مجموعة بيانات مفتوحة للجمهور من نوع SSG جراحي رباعي الأبعاد (4D-OR)، تتضمن عشر عمليات استبدال مفصل الركبة المُحاكاة، مسجلة باستخدام ستة أجهزة استشعار RGB-D في مركز محاكاة غرفة عمليات واقعية. تضم مجموعة بيانات 4D-OR ما مجموعه 6734 إطارًا، ومُعلّمة بشكل غني برسومات المشهد المعجمية، ووضعيات البشر والأجسام، بالإضافة إلى الأدوار السريرية. كما نقترح نموذجًا قائمًا على شبكة عصبية متكاملة لاستخلاص رسومات المشهد المعجمية، ويحقق معدل نجاح قدره 0.75 في مقياس F1 الماكرو، مما يُظهر قدرته الفعلية على استنتاج التفكير المعجمي داخل غرفة العمليات. وبالمزيد من التوضيح، نُظهر قوة التمثيل الخاصة برسومات المشهد لدينا من خلال توظيفها في مسألة التنبؤ بالأدوار السريرية، حيث نحقق معدلًا قدره 0.85 في مقياس F1 الماكرو. سيتم إتاحة الكود والبيانات للجمهور بعد قبول المقال.