HyperAIHyperAI

Command Palette

Search for a command to run...

AutoSAM: Anpassung von SAM an medizinische Bilder durch Überladung des Prompt-Encoders

Tal Shaharabany; Aviad Dahan; Raja Giryes; Lior Wolf

Zusammenfassung

Das kürzlich vorgestellte Segment Anything Modell (SAM) kombiniert eine clevere Architektur und große Mengen an Trainingsdaten, um bemerkenswerte Bildsegmentierungsfähigkeiten zu erzielen. Allerdings scheitert es daran, vergleichbare Ergebnisse für Out-Of-Distribution (OOD)-Bereiche wie medizinische Bilder zu reproduzieren. Zudem bedingt SAM entweder eine Maske oder eine Reihe von Punkten; es könnte jedoch wünschenswert sein, eine vollständig automatische Lösung zu haben. In dieser Arbeit ersetzen wir die Bedingung von SAM durch einen Encoder, der auf demselben Eingangsbild operiert. Durch Hinzufügen dieses Encoders und ohne weitere Feinabstimmung von SAM erhalten wir Stand-of-the-Art-Ergebnisse in mehreren Benchmarks für medizinische Bilder und Videos. Dieser neue Encoder wird durch Gradienten trainiert, die von einem gefrorenen SAM bereitgestellt werden. Um das Wissen innerhalb des Encoders zu untersuchen und eine leichte Segmentierungslösung bereitzustellen, lernen wir auch, ihn durch ein flaches Deconvolutionsnetzwerk in eine Maske zu decodieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp