HyperAIHyperAI

Command Palette

Search for a command to run...

Dicht verbundene parameter-effiziente Anpassung für die referenzbasierte Bildsegmentierung

Jiaqi Huang∗1,2, Zunnan Xu∗1,2, Ting Liu†1, Yong Liu‡1, Haonan Han‡1, Kehong Yuan‡1, Xiu Li‡1

Zusammenfassung

Im Bereich der Computer Vision wird das parameter-effiziente Feinjustieren (Parameter-Efficient Tuning, PET) zunehmend das traditionelle Paradigma des Vortrainings gefolgt von einem vollständigen Feintuning abgelöst. PET genießt insbesondere bei großen Grundmodellen (Foundation Models) große Beliebtheit, da es die Kosten des Transfer Learnings reduziert und die Hardwareauslastung optimiert. Die aktuellen PET-Methoden sind jedoch hauptsächlich für die Optimierung einzelner Modalitäten ausgelegt. Obwohl einige vorausgehende Studien erste Erkundungen unternommen haben, bleiben diese noch auf dem Niveau ausgerichteter Encoder (z.B. CLIP) und fehlen Untersuchungen zu nicht ausgerichteten Encodern. Diese Methoden erzielen mit nicht ausgerichteten Encodern suboptimale Ergebnisse, da sie während des Feintunings die multimodalen Merkmale nicht effektiv ausrichten können. In dieser Arbeit stellen wir DETRIS vor, einen parameter-effizienten Feinjustierungsrahmen, der durch dichte Verbindungen zwischen jeder Schicht und allen vorherigen Schichten eine verbesserte Verbreitung niedrig-rangiger visueller Merkmale ermöglicht. Dies ermöglicht eine effektive intermodale Merkmalsinteraktion und Anpassung an nicht ausgerichtete Encoder. Wir schlagen zudem den Einsatz von Textadaptern zur Verbesserung textbasierter Merkmale vor. Unser einfacher, aber effizienter Ansatz übertrifft die bislang besten Methoden um 0,9% bis 1,8% Backbone-Parameteraktualisierungen, wie anhand anspruchsvoller Benchmarks bewiesen wurde. Unser Projekt ist unter \url{https://github.com/jiaqihuang01/DETRIS} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Dicht verbundene parameter-effiziente Anpassung für die referenzbasierte Bildsegmentierung | Paper | HyperAI