HyperAIHyperAI

Command Palette

Search for a command to run...

MaskRIS: Semantische Verzerrungsbewusste Datenverstärkung für Referring Image Segmentation

Minhyun Lee Seungho Lee Song Park Dongyoon Han Byeongho Heo Hyunjung Shim

Zusammenfassung

Referring Image Segmentation (RIS) ist eine fortschrittliche Aufgabe im Bereich Vision und Sprache, die das Identifizieren und Segmentieren von Objekten innerhalb eines Bildes auf der Grundlage freier Textbeschreibungen umfasst. Während frühere Studien sich darauf konzentrierten, visuelle und sprachliche Merkmale zu alignen, blieben Trainingsmethoden wie Data Augmentation weitgehend unerforscht. In dieser Arbeit untersuchen wir effektive Data Augmentation für RIS und schlagen einen neuen Trainingsrahmen namens Masked Referring Image Segmentation (MaskRIS) vor. Wir stellen fest, dass herkömmliche Bildverstärkungen für RIS unzureichend sind und zu einer Leistungsverschlechterung führen, während einfaches zufälliges Maskieren die Leistung von RIS erheblich verbessert. MaskRIS verwendet sowohl Bild- als auch Textmaskierung, gefolgt von Distortion-aware Contextual Learning (DCL), um die Vorteile der Maskierungsstrategie vollständig auszuschöpfen. Dieser Ansatz kann die Robustheit des Modells gegenüber Verdeckungen, unvollständiger Information und verschiedenen sprachlichen Komplexitäten erhöhen, was zu einem signifikanten Leistungsanstieg führt. Experimente zeigen, dass MaskRIS leicht auf verschiedene RIS-Modelle angewendet werden kann und bestehende Methoden in voll überwachten sowie schwach überwachten Szenarien übertreffen kann. Schließlich erreicht MaskRIS neue Standarts der Technik auf den Datensätzen RefCOCO, RefCOCO+ und RefCOCOg. Der Quellcode ist unter https://github.com/naver-ai/maskris verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MaskRIS: Semantische Verzerrungsbewusste Datenverstärkung für Referring Image Segmentation | Paper | HyperAI