MaskRIS: Semantische Verzerrungsbewusste Datenverstärkung für Referring Image Segmentation

Referring Image Segmentation (RIS) ist eine fortschrittliche Aufgabe im Bereich Vision und Sprache, die das Identifizieren und Segmentieren von Objekten innerhalb eines Bildes auf der Grundlage freier Textbeschreibungen umfasst. Während frühere Studien sich darauf konzentrierten, visuelle und sprachliche Merkmale zu alignen, blieben Trainingsmethoden wie Data Augmentation weitgehend unerforscht. In dieser Arbeit untersuchen wir effektive Data Augmentation für RIS und schlagen einen neuen Trainingsrahmen namens Masked Referring Image Segmentation (MaskRIS) vor. Wir stellen fest, dass herkömmliche Bildverstärkungen für RIS unzureichend sind und zu einer Leistungsverschlechterung führen, während einfaches zufälliges Maskieren die Leistung von RIS erheblich verbessert. MaskRIS verwendet sowohl Bild- als auch Textmaskierung, gefolgt von Distortion-aware Contextual Learning (DCL), um die Vorteile der Maskierungsstrategie vollständig auszuschöpfen. Dieser Ansatz kann die Robustheit des Modells gegenüber Verdeckungen, unvollständiger Information und verschiedenen sprachlichen Komplexitäten erhöhen, was zu einem signifikanten Leistungsanstieg führt. Experimente zeigen, dass MaskRIS leicht auf verschiedene RIS-Modelle angewendet werden kann und bestehende Methoden in voll überwachten sowie schwach überwachten Szenarien übertreffen kann. Schließlich erreicht MaskRIS neue Standarts der Technik auf den Datensätzen RefCOCO, RefCOCO+ und RefCOCOg. Der Quellcode ist unter https://github.com/naver-ai/maskris verfügbar.