HyperAIHyperAI

Command Palette

Search for a command to run...

Maverick: Effiziente und genaue Koreferenzauflösung, die gegen aktuelle Trends verstößt

Giuliano Martinelli; Edoardo Barba; Roberto Navigli

Zusammenfassung

Große autoregressive Generativmodelle sind als Eckpfeiler zur Erreichung der besten Leistung in verschiedenen Natürlichsprachverarbeitungs-Aufgaben hervorgetreten. Dennoch hat der Drang, überlegene Ergebnisse zu erzielen, in manchen Fällen zu einer vorschnellen Ablösung sorgfältig entwickelter aufgabenspezifischer Ansätze geführt, ohne umfassende Experimente durchzuführen. Die Aufgabe der Koreferenzauflösung (Coreference Resolution) ist da keine Ausnahme; alle jüngsten Spitzenlösungen verwenden große generative autoregressive Modelle, die encoderbasierte diskriminative Systeme übertreffen. In dieser Arbeit fordern wir diese jüngste Entwicklung heraus, indem wir Maverick vorstellen, eine sorgfältig konzipierte – jedoch einfache – Pipeline, die es ermöglicht, ein Spitzen-Koreferenzauflösungssystem innerhalb der Grenzen eines akademischen Budgets zu betreiben und Modelle mit bis zu 13 Milliarden Parametern mit nur 500 Millionen Parametern zu übertreffen. Maverick erreicht Spitzenleistungen im CoNLL-2012-Benchmark, trainiert mit bis zu 0,006-facher Speicherressourcen und erzielt eine Inferenzgeschwindigkeit, die 170-mal schneller ist als bei früheren Spitzensystemen. Wir überprüfen die Robustheit des Maverick-Frameworks ausführlich durch eine Reihe vielfältiger Experimente und melden Verbesserungen gegenüber früheren Systemen in Szenarien mit wenigen Daten, langen Dokumenten und außerhalb des Trainingsbereichs. Unser Code und unsere Modelle geben wir für Forschungszwecke frei unter https://github.com/SapienzaNLP/maverick-coref.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp