HyperAIHyperAI

Command Palette

Search for a command to run...

FoodSAM: Any Food Segmentation

Xing Lan Jiayi Lyu Hanyu Jiang Kun Dong Zehai Niu Yi Zhang Jian Xue

Zusammenfassung

In diesem Paper untersuchen wir die Zero-Shot-Fähigkeit des Segment Anything Models (SAM) für die Segmentierung von Nahrungsmittelbildern. Um den Mangel an klassenspezifischer Information in von SAM generierten Masken zu beheben, schlagen wir einen innovativen Ansatz vor, den wir FoodSAM nennen. Dieser neue Rahmen integriert die grobe semantische Maske mit von SAM generierten Masken, um die Qualität der semantischen Segmentierung zu verbessern. Darüber hinaus erkennen wir, dass die Zutaten in Nahrungsmitteln als unabhängige Individuen betrachtet werden können, was uns motiviert, die Instanzsegmentierung auf Nahrungsmittelbilder anzuwenden. Zudem erweitert FoodSAM seine Zero-Shot-Fähigkeit auf die Panoptic-Segmentierung durch die Integration eines Objektdetektors, wodurch FoodSAM in der Lage ist, Informationen zu nicht-nahrhaften Objekten effektiv zu erfassen. Inspiriert durch den jüngsten Erfolg von promptbasierten Segmentierungsansätzen, erweitern wir FoodSAM ebenfalls auf promptbasierte Segmentierung und unterstützen verschiedene Prompt-Varianten. Insgesamt stellt FoodSAM eine umfassende Lösung dar, die die Segmentierung von Nahrungsmitteln auf mehreren Granularitätsstufen ermöglicht. Besonders bemerkenswert ist, dass dieses wegweisende Framework das erste ist, das Instanz-, Panoptic- und promptbasierte Segmentierung auf Nahrungsmittelbildern realisiert. Umfangreiche Experimente belegen die Durchführbarkeit und beeindruckende Leistungsfähigkeit von FoodSAM und bestätigen das Potenzial von SAM als herausragendes und einflussreiches Werkzeug im Bereich der Segmentierung von Nahrungsmittelbildern. Wir stellen unseren Code unter https://github.com/jamesjg/FoodSAM zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
FoodSAM: Any Food Segmentation | Paper | HyperAI