Selbstüberwachtes Few-shot-Lernen für die semantische Segmentierung: Ein annotierungsfreier Ansatz

Few-shot semantic segmentation (FSS) bietet erhebliches Potenzial im Bereich der medizinischen Bildanalyse, da präzise Objektsegmentierung mit begrenzten Trainingsdaten ermöglicht wird. Allerdings beruhen bestehende FSS-Techniken stark auf annotierten semantischen Klassen, was sie aufgrund der Seltenheit von Annotationen für medizinische Bilder ungeeignet macht. Um dieser Herausforderung zu begegnen, werden mehrere Beiträge vorgestellt: Erstens wird das Problem der Bildzerlegung, inspiriert durch Spektralzerlegungsmethoden, neu formuliert und als Graphpartitionierungsaufgabe betrachtet. Die Eigenvektoren der Laplace-Matrix, abgeleitet aus der Merkmalsaffinitätsmatrix selbstlernender Netzwerke, werden analysiert, um die Verteilung der interessierenden Objekte anhand der Support-Bilder zu schätzen. Zweitens wird ein neuartiger, selbstlernender FSS-Framework vorgestellt, der keinerlei Annotationen benötigt. Stattdessen schätzt er adaptiv die Query-Maske unter Nutzung der aus den Support-Bildern gewonnenen Eigenvektoren. Dieser Ansatz entfällt die Notwendigkeit manueller Annotationen und macht das Verfahren besonders geeignet für medizinische Bilder mit begrenzten annotierten Daten. Drittens wird ein Multi-Scale-Größerkern-Attention-Modul eingeführt, um die Dekodierung des Query-Bildes basierend auf der Information aus dem Support-Bild weiter zu verbessern. Durch gezielte Betonung relevanter Merkmale und Details optimiert dieses Modul den Segmentierungsprozess und trägt zu einer präziseren Objektdarstellung bei. Evaluierungen an natürlichen sowie medizinischen Bild-Datensätzen belegen die Effizienz und Wirksamkeit des vorgeschlagenen Ansatzes. Darüber hinaus zeichnet sich das Verfahren durch seine Allgemeingültigkeit und modellunabhängige Natur aus, wodurch eine nahtlose Integration mit verschiedenen tiefen Architekturen möglich ist. Der Quellcode ist öffentlich unter \href{https://github.com/mindflow-institue/annotation_free_fewshot}{\textcolor{magenta}{GitHub}} verfügbar.