ScribblePrompt

HyperAI 超神经论文解读：「入选 ECCV 2024！覆盖 5.4w+图像，MIT 提出医学图像分割通用模型 ScribblePrompt，性能优于 SAM」

相关数据集下载：MedScribble 多图像分割生物医学任务数据集

项目介绍

ScribblePrompt  的主要目标是简化医学图像的分割过程，这在肿瘤检测、器官轮廓描绘等应用中至关重要。相比依赖大量人工标注数据，该工具允许用户通过少量输入（例如简单的涂鸦或点位）来引导模型优化分割结果。这种方式减少了医学专家在图像标注上的时间和精力，同时确保了分割的准确性。

ScribblePrompt  的特点包括：

• 高效标注：通过简单的涂鸦操作，大大减少了手动标注的工作量，特别适用于需要精确结构描绘的医学场景。
• 人机协作系统：引入了实时的人机交互，确保分割结果不仅是自动化的，而且能够与专家知识保持一致，允许即刻修正和优化。
• 可扩展性与灵活性：ScribblePrompt  支持多种医学影像模态，能够处理 2D 和 3D 图像，适用于不同的医学领域。
• 通过最小输入提升准确性：系统通过少量的用户输入即可优化分割结果，既保证了高精度，又减轻了医学专家的负担。
• 开源和可扩展性：作为开源项目，ScribblePrompt  设计上具备高度可扩展性，研究人员和开发者可以根据特定需求对工具进行定制或将其集成至更大的医学影像处理管道中。
• ScribblePrompt  在交互式生物医学图像工具中实现了精度、灵活性和效率的平衡，为医学专家和研究人员提供了极大的便利。

---

效果示例

---

运行步骤

1. 在该项目右上角点击「克隆」，随后依次点击「下一步」即可完成：基本信息> 选择算力> 审核等步骤。最后点击「继续执行」即可在个人容器内开启本项目。

2. 等待容器资源分配完成后，可直接使用平台提供的 API 地址进行操作页面的访问（需要提前完成实名认证，此步无需打开工作空间）

3. 上传目标图片

4. 目标内容识别与切割

第一种方式：Clicks/Boxes 。具体操作方式参考图片

第二种方式：Scribbles 。具体操作方式参考图片

第三种方式：锚框内容检测。操作步骤如下

① 启动 Bounding Box 模式，并取消勾选 Auto-update prediction on clicks 选项。

② 使用锚框进行目标内容选定。（注意，单张图像仅支持单个锚框的检测。若需要模型识别并切割多个内容，前两种方式的实现效果更佳。）