HyperAIHyperAI
منذ 2 أشهر

التعلم الرáficoي العلائقي على التضمينات البصرية والحركة للتمييز الدقيق عن الحركات في الجراحة الروبوتية

Yonghao Long; Jie Ying Wu; Bo Lu; Yueming Jin; Mathias Unberath; Yun-Hui Liu; Pheng Ann Heng; Qi Dou
التعلم الرáficoي العلائقي على التضمينات البصرية والحركة للتمييز الدقيق عن الحركات في الجراحة الروبوتية
الملخص

التعرف التلقائي على الحركات الجراحية مهم للغاية لتمكين المساعدة المعرفية الذكية في الجراحة الروبوتية. مع التقدم الحديث في الجراحة الروبوتية ذات التدخل القليل، يمكن تسجيل معلومات غنية تشمل مقاطع الفيديو الجراحية وحركة الروبوتات، مما يوفر معرفة مكملة لفهم الحركات الجراحية. ومع ذلك، فإن الطرق الحالية إما تعتمد على بيانات أحادية النمط فقط أو تقوم بدمج تمثيلات متعددة النمط مباشرة، مما لا يسمح باستغلال العلاقات المعلوماتية المتأصلة في البيانات البصرية والحركة بشكل كافٍ لتحسين دقة التعرف على الحركات. في هذا السياق، نقترح نهجًا جديدًا عبر الإنترنت يستخدم شبكة الرسم البياني العلائقية متعددة النمط (أي MRG-Net) لدمج المعلومات البصرية والحركة بشكل ديناميكي من خلال انتشار الرسائل التفاعلية في فضاء الخصائص الكامنة. تحديدًا، نقوم أولًا باستخراج المتجهات من سلاسل الفيديو والحركة باستخدام شبكات التلافيف الزمنية ووحدات LSTM. ثم نحدد العلاقات المتعددة في هذه المتجهات متعددة النمط ونستفيد منها من خلال وحدة تعلم الرسم البياني العلائقي الهرمي. لقد أثبتت فعالية طريقتنا من خلال تحقيق أفضل النتائج على مجموعة البيانات العامة JIGSAWS، حيث تفوقت على الطرق الحالية أحادية النمط ومتعددة النمط في كل من مهام الخياطة وربط العقد. بالإضافة إلى ذلك، قمنا بتحقق طريقتنا على قواعد بيانات داخلية للصور والحركة تم جمعها باستخدام منصات الدا فنشي ريسيرتش كيت (dVRK) في مركزين، حيث حققت أداءً واعدًا ومتسقًا.

التعلم الرáficoي العلائقي على التضمينات البصرية والحركة للتمييز الدقيق عن الحركات في الجراحة الروبوتية | أحدث الأوراق البحثية | HyperAI