سكريبل برومبت

تفسير ورقة HyperAI Super Neural:تم اختياره لـ ECCV 2024! بتغطية أكثر من 54000 صورة، اقترح معهد ماساتشوستس للتكنولوجيا نموذجًا عامًا لتجزئة الصور الطبية، ScribblePrompt، والذي يتفوق على SAM"

تنزيلات مجموعة البيانات ذات الصلة:مجموعة بيانات المهام الطبية الحيوية لتجزئة الصور المتعددة من MedScribble

مقدمة المشروع

ScribblePrompt الهدف الرئيسي من الخوارزمية هو تبسيط عملية تقسيم الصور الطبية، وهو أمر بالغ الأهمية في تطبيقات مثل اكتشاف الأورام وتحديد شكل الأعضاء. بدلاً من الاعتماد على كميات كبيرة من البيانات الموضحة يدويًا، تسمح الأداة للمستخدمين بتوجيه النموذج لتحسين نتائج التجزئة باستخدام كميات صغيرة من المدخلات، مثل الكتابة على الجدران أو النقاط البسيطة. يقلل هذا النهج من الوقت والجهد الذي يبذله الخبراء الطبيون في شرح الصور مع ضمان دقة التجزئة.

ScribblePrompt تشمل الميزات ما يلي:

وضع العلامات بكفاءة: من خلال عمليات الخربشة البسيطة، يتم تقليل عبء العمل المتعلق بوضع العلامات يدويًا بشكل كبير، وهو مناسب بشكل خاص للسيناريوهات الطبية التي تتطلب تصويرًا هيكليًا دقيقًا.
نظام تعاوني بين الإنسان والآلة: يقدم تفاعلًا في الوقت الفعلي بين الإنسان والآلة لضمان أن نتائج التجزئة ليست آلية فحسب، بل تتوافق أيضًا مع المعرفة المتخصصة، مما يسمح بالتصحيح والتحسين الفوري.
قابلية التوسع والمرونة:ScribblePrompt إنه يدعم العديد من وسائل التصوير الطبي، ويمكنه معالجة الصور ثنائية وثلاثية الأبعاد، وهو مناسب لمجالات طبية مختلفة.
تحسين الدقة مع الحد الأدنى من المدخلات: يعمل النظام على تحسين نتائج التجزئة مع الحد الأدنى من مدخلات المستخدم، مما يضمن دقة عالية مع تقليل العبء على الخبراء الطبيين.
المصدر المفتوح وقابلية التوسع: باعتباره مشروعًا مفتوح المصدر،ScribblePrompt تم تصميم الأداة لتكون قابلة للتطوير بدرجة كبيرة، حيث يمكن للباحثين والمطورين تخصيصها لتلبية احتياجات محددة أو دمجها في خط أنابيب معالجة الصور الطبية الأكبر.
ScribblePrompt يتم تحقيق التوازن بين الدقة والمرونة والكفاءة في أدوات التصوير الطبي الحيوي التفاعلية، مما يوفر راحة كبيرة للخبراء الطبيين والباحثين.

أمثلة التأثير

خطوات التشغيل

1. 在该项目右上角点击「克隆」，随后依次点击「下一步」即可完成：基本信息> 选择算力> 审核等步骤。最后点击「继续执行」即可在个人容器内开启本项目。

2. 等待容器资源分配完成后，可直接使用平台提供的 API 地址进行操作页面的访问（需要提前完成实名认证，此步无需打开工作空间）

3. 上传目标图片

4. 目标内容识别与切割

第一种方式：Clicks/Boxes 。具体操作方式参考图片

第二种方式：Scribbles 。具体操作方式参考图片

第三种方式：锚框内容检测。操作步骤如下

① قم بتمكين وضع المربع المحدد وإلغاء تحديد خيار التنبؤ بالتحديث التلقائي عند النقرات.

② استخدم إطار المرساة لتحديد المحتوى المستهدف. (لاحظ أن صورة واحدة تدعم فقط اكتشاف صندوق مرساة واحد. إذا كان النموذج بحاجة إلى التعرف على محتويات متعددة وقطعها، فستعمل الطريقتان الأوليتان بشكل أفضل.)