HyperAIHyperAI

Command Palette

Search for a command to run...

DABS: Ein domainspezifisches Benchmark für selbstüberwachtes Lernen

Alex Tamkin Vincent Liu Rongfei Lu Daniel Fein Colin Schultz Noah Goodman

Zusammenfassung

Selbstüberwachte Lernalgorithmen wie BERT und SimCLR haben erhebliche Fortschritte in Bereichen wie der natürlichen Sprachverarbeitung, der Computer Vision und der Sprachverarbeitung ermöglicht. Diese Algorithmen sind jedoch domainspezifisch, was bedeutet, dass für jede neue Anwendungssituation – einschließlich zahlreicher Anwendungsfelder in der Gesundheitsversorgung, der Wissenschaft und multimodalen Domänen – jeweils neue selbstüberwachte Lernmethoden entwickelt werden müssen. Um den Fortschritt hin zu domainspezifischen Methoden zu beschleunigen, stellen wir DABS vor: einen domainspezifischen Benchmark für selbstüberwachtes Lernen. Um gut in DABS abzuschneiden, wird ein Algorithmus an sieben unterschiedlichen Domänen getestet: natürliche Bilder, mehrkanalige Sensordaten, englischer Text, Sprachaufnahmen, mehrsprachiger Text, Brust-Röntgenbilder sowie Bilder mit Textbeschreibungen. Jede Domäne verfügt über einen ungekennzeichneten Datensatz zum Vortrainieren; anschließend wird das Modell anhand seiner Leistung bei einer Reihe von gekennzeichneten Aufgaben innerhalb der jeweiligen Domäne bewertet. Zudem präsentieren wir e-Mix und ShED: zwei Baseline-Algorithmen für domainspezifisches Lernen. Ihre vergleichsweise bescheidene Leistung zeigt, dass erheblicher Forschungsbedarf besteht, bevor selbstüberwachtes Lernen eine „out-of-the-box“-Lösung für beliebige Domänen darstellt. Der Quellcode für die Benchmark-Datensätze und die Baseline-Algorithmen ist unter https://github.com/alextamkin/dabs verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp