HyperAIHyperAI

Command Palette

Search for a command to run...

Vergleichende Anpassung von Vision- und Sprach-Encodern: parameter-effizientes Tuning für die Bezugsbildsegmentierung

Zunnan Xu Zhihong Chen Yong Zhang Yibing Song Xiang Wan Guanbin Li

Zusammenfassung

Parameter-effizientes Tuning (PET) hat Aufmerksamkeit erlangt, da es die Anzahl der Parameter reduziert, die Leistung beibehält und zudem eine bessere Ausnutzung hardware-basierter Ressourcen ermöglicht. Allerdings untersuchen nur wenige Studien dichte Vorhersageaufgaben und die Interaktion zwischen Modalitäten. In diesem Artikel untersuchen wir die Herausforderungen des effizienten Tunings im Kontext der Bezugsbildsegmentierung. Wir stellen einen neuartigen Adapter namens Bridger vor, der den Austausch von informationsreichen Signalen zwischen Modalitäten erleichtert und aufgabenbezogene Informationen in das vortrainierte Modell integriert. Zudem entwerfen wir einen leichtgewichtigen Decoder für die Bildsegmentierung. Unser Ansatz erreicht vergleichbare oder überlegene Ergebnisse, wobei lediglich zwischen 1,61 % und 3,38 % der Parameter des Hauptmodells aktualisiert werden, wie an anspruchsvollen Benchmark-Datensätzen gezeigt wurde. Der Quellcode ist unter \url{https://github.com/kkakkkka/ETRIS} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp