DABS: Ein domainspezifisches Benchmark für selbstüberwachtes Lernen

Selbstüberwachte Lernalgorithmen wie BERT und SimCLR haben erhebliche Fortschritte in Bereichen wie der natürlichen Sprachverarbeitung, der Computer Vision und der Sprachverarbeitung ermöglicht. Diese Algorithmen sind jedoch domainspezifisch, was bedeutet, dass für jede neue Anwendungssituation – einschließlich zahlreicher Anwendungsfelder in der Gesundheitsversorgung, der Wissenschaft und multimodalen Domänen – jeweils neue selbstüberwachte Lernmethoden entwickelt werden müssen. Um den Fortschritt hin zu domainspezifischen Methoden zu beschleunigen, stellen wir DABS vor: einen domainspezifischen Benchmark für selbstüberwachtes Lernen. Um gut in DABS abzuschneiden, wird ein Algorithmus an sieben unterschiedlichen Domänen getestet: natürliche Bilder, mehrkanalige Sensordaten, englischer Text, Sprachaufnahmen, mehrsprachiger Text, Brust-Röntgenbilder sowie Bilder mit Textbeschreibungen. Jede Domäne verfügt über einen ungekennzeichneten Datensatz zum Vortrainieren; anschließend wird das Modell anhand seiner Leistung bei einer Reihe von gekennzeichneten Aufgaben innerhalb der jeweiligen Domäne bewertet. Zudem präsentieren wir e-Mix und ShED: zwei Baseline-Algorithmen für domainspezifisches Lernen. Ihre vergleichsweise bescheidene Leistung zeigt, dass erheblicher Forschungsbedarf besteht, bevor selbstüberwachtes Lernen eine „out-of-the-box“-Lösung für beliebige Domänen darstellt. Der Quellcode für die Benchmark-Datensätze und die Baseline-Algorithmen ist unter https://github.com/alextamkin/dabs verfügbar.