ScribblePrompt

HyperAI Super Neural Paper Interpretation:Ausgewählt für ECCV 2024! Das MIT hat mit ScribblePrompt ein allgemeines Modell für die Segmentierung medizinischer Bilder vorgeschlagen, das mehr als 54.000 Bilder abdeckt und SAM übertrifft."

Downloads zugehöriger Datensätze:MedScribble-Datensatz zur Multi-Image-Segmentierung für biomedizinische Aufgaben

Projektvorstellung

ScribblePrompt Das Hauptziel des Algorithmus besteht darin, den Segmentierungsprozess medizinischer Bilder zu vereinfachen, was bei Anwendungen wie der Tumorerkennung und Organkonturierung von entscheidender Bedeutung ist. Anstatt sich auf große Mengen manuell annotierter Daten zu verlassen, können Benutzer mit dem Tool das Modell steuern, um die Segmentierungsergebnisse mit kleinen Eingabemengen wie einfachen Graffiti oder Punkten zu optimieren. Dieser Ansatz reduziert den Zeit- und Arbeitsaufwand medizinischer Experten bei der Bildannotation und gewährleistet gleichzeitig die Genauigkeit der Segmentierung.

ScribblePrompt Zu den Features gehören:

Effiziente Beschriftung: Durch einfache Kritzelvorgänge wird der Arbeitsaufwand der manuellen Beschriftung erheblich reduziert, was sich insbesondere für medizinische Szenarien eignet, die eine präzise Strukturdarstellung erfordern.
Mensch-Maschine-Kollaborationssystem: Führt eine Mensch-Maschine-Interaktion in Echtzeit ein, um sicherzustellen, dass die Segmentierungsergebnisse nicht nur automatisiert sind, sondern auch mit Expertenwissen übereinstimmen, sodass sofortige Korrekturen und Optimierungen möglich sind.
Skalierbarkeit und Flexibilität:ScribblePrompt Es unterstützt mehrere medizinische Bildgebungsverfahren, kann 2D- und 3D-Bilder verarbeiten und ist für verschiedene medizinische Bereiche geeignet.
Verbesserte Genauigkeit bei minimalem Aufwand: Das System optimiert die Segmentierungsergebnisse bei minimalem Aufwand des Benutzers und gewährleistet so eine hohe Genauigkeit bei gleichzeitiger Reduzierung der Belastung medizinischer Experten.
Open Source und Skalierbarkeit: Als Open Source-ProjektScribblePrompt Da das Tool hochgradig skalierbar ist, können Forscher und Entwickler es an spezifische Anforderungen anpassen oder in eine größere medizinische Bildverarbeitungs-Pipeline integrieren.
ScribblePrompt In interaktiven biomedizinischen Bildgebungstools wird ein Gleichgewicht zwischen Genauigkeit, Flexibilität und Effizienz erreicht, was medizinischen Experten und Forschern großen Komfort bietet.

Effektbeispiele

Schritte ausführen

1. 在该项目右上角点击「克隆」，随后依次点击「下一步」即可完成：基本信息> 选择算力> 审核等步骤。最后点击「继续执行」即可在个人容器内开启本项目。

2. 等待容器资源分配完成后，可直接使用平台提供的 API 地址进行操作页面的访问（需要提前完成实名认证，此步无需打开工作空间）

3. 上传目标图片

4. 目标内容识别与切割

第一种方式：Clicks/Boxes 。具体操作方式参考图片

第二种方式：Scribbles 。具体操作方式参考图片

第三种方式：锚框内容检测。操作步骤如下

① Aktivieren Sie den Begrenzungsrahmenmodus und deaktivieren Sie die Option „Vorhersage bei Klicks automatisch aktualisieren“.

② Verwenden Sie den Ankerrahmen, um den Zielinhalt auszuwählen. (Beachten Sie, dass ein einzelnes Bild nur die Erkennung einer einzelnen Ankerbox unterstützt. Wenn das Modell mehrere Inhalte erkennen und ausschneiden muss, funktionieren die ersten beiden Methoden besser.)