FoodSAM: Any Food Segmentation

In diesem Paper untersuchen wir die Zero-Shot-Fähigkeit des Segment Anything Models (SAM) für die Segmentierung von Nahrungsmittelbildern. Um den Mangel an klassenspezifischer Information in von SAM generierten Masken zu beheben, schlagen wir einen innovativen Ansatz vor, den wir FoodSAM nennen. Dieser neue Rahmen integriert die grobe semantische Maske mit von SAM generierten Masken, um die Qualität der semantischen Segmentierung zu verbessern. Darüber hinaus erkennen wir, dass die Zutaten in Nahrungsmitteln als unabhängige Individuen betrachtet werden können, was uns motiviert, die Instanzsegmentierung auf Nahrungsmittelbilder anzuwenden. Zudem erweitert FoodSAM seine Zero-Shot-Fähigkeit auf die Panoptic-Segmentierung durch die Integration eines Objektdetektors, wodurch FoodSAM in der Lage ist, Informationen zu nicht-nahrhaften Objekten effektiv zu erfassen. Inspiriert durch den jüngsten Erfolg von promptbasierten Segmentierungsansätzen, erweitern wir FoodSAM ebenfalls auf promptbasierte Segmentierung und unterstützen verschiedene Prompt-Varianten. Insgesamt stellt FoodSAM eine umfassende Lösung dar, die die Segmentierung von Nahrungsmitteln auf mehreren Granularitätsstufen ermöglicht. Besonders bemerkenswert ist, dass dieses wegweisende Framework das erste ist, das Instanz-, Panoptic- und promptbasierte Segmentierung auf Nahrungsmittelbildern realisiert. Umfangreiche Experimente belegen die Durchführbarkeit und beeindruckende Leistungsfähigkeit von FoodSAM und bestätigen das Potenzial von SAM als herausragendes und einflussreiches Werkzeug im Bereich der Segmentierung von Nahrungsmittelbildern. Wir stellen unseren Code unter https://github.com/jamesjg/FoodSAM zur Verfügung.