Yuheng Li Yenho Chen Yuxiang Lai Jike Zhong Vanessa Wildman Xiaofeng Yang

الملخص

تظل أخطاء التشخيص الإشعاعي—مثل أخطاء التفسير المُعدّة، والعمى الانتباهي، وفشل التواصل—شائعة في الممارسة السريرية. وغالبًا ما تنشأ هذه المشكلات من تفويت التغيرات الموضعية، ونقص السياق الشامل، وتباين لغة التقارير. وتزداد هذه التحديات حدة في التصوير ثلاثي الأبعاد، حيث يتعين على الأطباء مراجعة مئات المقاطع لكل تصوير. ويتطلب التغلب عليها أنظمة تتميز بقدرة دقيقة على الكشف الموضعي، وتمكّن من التفكير التحليلي على مستوى الحجم الكلي، وتُنتج تقاريرًا بلغة طبيعية متسقة دلاليًا. لكن النماذج الحالية للرؤية واللغة ثلاثية الأبعاد لا تتمكن من تلبية هذه الاحتياجات الثلاثة معًا، إذ تعاني من نقص في الفهم الموضعي-الشامل الضروري للتفكير المكاني، وتعاني أيضًا من التباين والضوضاء في تقارير الأشعة غير المُنظّمة. نقدم هنا MedVista3D، وهي إطار تدريب مسبق متعدد المقاييس يعتمد على التغذية الدلالية للغة والرؤية، مُصمم لتحليل التصوير المقطعي ثلاثي الأبعاد (CT). ولتمكين الكشف عن الأمراض والفهم الشامل معًا، تقوم MedVista3D بتنفيذ محاذاة بين الصورة والنص على المستويين الموضعي والشامل، بهدف تعلم تمثيلات دقيقة ضمن السياق الكامل للحجم. ولمعالجة تباين التقارير، نطبّق إعادة صياغة باستخدام نماذج اللغة، ونُدخل "مصرف مطابقة دلالية في مجال الأشعة" لتمكين المحاذاة المُستندة إلى الدلالة. تحقق MedVista3D أداءً متميزًا على مستوى الحد الأقصى في تصنيف الأمراض بدون تدريب مسبق (zero-shot)، واسترجاع التقارير، والإجابة على الأسئلة الطبية المرئية، كما تُظهر أداءً ممتازًا في نقل المعرفة إلى مهام مثل تقسيم الأعضاء وتوقع النتائج السريرية. سيتم إتاحة الشفرة البرمجية وملفات البيانات للاستخدام العام.