HyperAIHyperAI
vor 17 Tagen

AI-SAM: Automatisches und interaktives Segment Anything Modell

Yimu Pan, Sitao Zhang, Alison D. Gernand, Jeffery A. Goldstein, James Z. Wang
AI-SAM: Automatisches und interaktives Segment Anything Modell
Abstract

Semantische Segmentierung ist eine zentrale Aufgabe im Bereich des Computersehens. Bestehende Methoden werden allgemein in zwei Kategorien eingeteilt: automatische und interaktive Ansätze. Interaktive Verfahren, wie beispielsweise das Segment Anything Model (SAM), haben sich als vortrainierte Modelle als vielversprechend erwiesen. Allerdings neigen aktuelle Anpassungsstrategien für diese Modelle tendenziell entweder zu rein automatischen oder zu rein interaktiven Ansätzen. Interaktive Methoden setzen auf Benutzereingaben (Prompts) zur Steuerung, während automatische Ansätze die Interaktivität vollständig umgehen. Um diese Einschränkungen zu überwinden, stellen wir ein neuartiges Paradigma sowie das erste Modell hierzu vor: das Automatic and Interactive Segment Anything Model (AI-SAM). In diesem Paradigma führen wir eine umfassende Analyse der Prompt-Qualität durch und stellen den wegweisenden Automatic and Interactive Prompter (AI-Prompter) vor, der automatisch initiale Punktprompts generiert, gleichzeitig aber zusätzliche Benutzereingaben akzeptiert. Unsere experimentellen Ergebnisse belegen die Wirksamkeit von AI-SAM im automatischen Modus und zeigen Leistungen auf State-of-the-Art-Niveau. Signifikant ist, dass das Modell zudem die Flexibilität bietet, zusätzliche Benutzerprompts einzubinden, wodurch seine Leistung weiter gesteigert werden kann. Die Projektseite ist unter https://github.com/ymp5078/AI-SAM verfügbar.

AI-SAM: Automatisches und interaktives Segment Anything Modell | Neueste Forschungsarbeiten | HyperAI