스크리블프롬프트

HyperAI 슈퍼 신경망 논문 해석:ECCV 2024에 선정되었습니다! MIT는 54,000개 이상의 이미지를 포괄하는 의료 이미지 분할을 위한 일반 모델인 ScribblePrompt를 제안했으며 이는 SAM보다 성능이 뛰어납니다."

관련 데이터 세트 다운로드:MedScribble 다중 이미지 분할 생물의학 작업 데이터 세트

프로젝트 소개

ScribblePrompt  이 알고리즘의 주요 목표는 종양 감지 및 장기 윤곽선 파악과 같은 응용 분야에 필수적인 의료 영상의 분할 과정을 단순화하는 것입니다. 이 도구를 사용하면 대량의 수동으로 주석이 달린 데이터에 의존하는 대신, 간단한 그래피티나 포인트와 같은 소량의 입력으로 모델이 세분화 결과를 최적화하도록 안내할 수 있습니다. 이러한 접근 방식은 세분화의 정확성을 보장하는 동시에 의료 전문가가 이미지 주석을 작성하는 데 소요되는 시간과 노력을 줄여줍니다.

ScribblePrompt  특징은 다음과 같습니다.

• 효율적인 라벨링: 간단한 낙서 작업을 통해 수동 라벨링 작업량이 크게 줄어들어 정확한 구조 묘사가 필요한 의료 시나리오에 특히 적합합니다.
• 인간-기계 협업 시스템: 세분화 결과가 자동화될 뿐만 아니라 전문 지식과 일관성을 유지하도록 실시간 인간-기계 상호 작용을 도입하여 즉각적인 수정 및 최적화가 가능합니다.
• 확장성 및 유연성:ScribblePrompt  다양한 의료 영상 방식을 지원하고, 2D 및 3D 영상을 처리할 수 있으며, 다양한 의료 분야에 적합합니다.
• 최소한의 입력으로 정확도 향상: 시스템은 최소한의 사용자 입력으로 세분화 결과를 최적화하여 의료 전문가의 부담을 줄이는 동시에 높은 정확도를 보장합니다.
• 오픈 소스 및 확장성: 오픈 소스 프로젝트로서ScribblePrompt  높은 확장성을 갖도록 설계되어 연구자와 개발자는 특정 요구 사항을 충족하도록 도구를 사용자 지정하거나 더 큰 의료 영상 처리 파이프라인에 통합할 수 있습니다.
• ScribblePrompt  대화형 생물의학 영상 도구는 정확성, 유연성, 효율성의 균형을 이루어 의료 전문가와 연구자에게 큰 편의성을 제공합니다.

---

효과 예시

---

실행 단계

1. 在该项目右上角点击「克隆」，随后依次点击「下一步」即可完成：基本信息> 选择算力> 审核等步骤。最后点击「继续执行」即可在个人容器内开启本项目。

2. 等待容器资源分配完成后，可直接使用平台提供的 API 地址进行操作页面的访问（需要提前完成实名认证，此步无需打开工作空间）

3. 上传目标图片

4. 目标内容识别与切割

第一种方式：Clicks/Boxes 。具体操作方式参考图片

第二种方式：Scribbles 。具体操作方式参考图片

第三种方式：锚框内容检测。操作步骤如下

① 경계 상자 모드를 활성화하고 클릭 시 예측 자동 업데이트 옵션의 선택을 해제합니다.

② 앵커 프레임을 이용해 대상 콘텐츠를 선택합니다. (단일 이미지는 단일 앵커 박스만 감지할 수 있습니다. 모델이 여러 콘텐츠를 인식하고 잘라내야 하는 경우 처음 두 가지 방법이 더 효과적입니다.)