Selbstgesteuerte maskierte Autoencoder für domainspezifische selbstüberwachte Lernverfahren

Selbstüberwachtes Lernen zeichnet sich durch seine Fähigkeit aus, Darstellungen aus großen Mengen an unbeschrifteten Daten zu lernen, und hat sich in mehreren Datentypen bewährt. Die Erweiterung selbstüberwachter Lernverfahren auf neue Datentypen ist jedoch nicht trivial, da die spezifischen Ansätze der bestehenden Methoden jeweils an bestimmte Domänen angepasst sind, beispielsweise durch domänenspezifische Datenaugmentierungen, die die Invarianzen der jeweiligen Aufgabe widerspiegeln. Obwohl das Masked Modeling als hinreichend dominenunabhängiger Rahmen für selbstüberwachtes Lernen vielversprechend erscheint – da es keine Abhängigkeit von Eingabedatenaugmentierungen aufweist – bleibt sein Masken-Sampling-Verfahren domänenspezifisch. Wir präsentieren Self-guided Masked Autoencoders (SMA), eine vollständig domänenunabhängige Methode des Masked Modeling. SMA trainiert ein auf Aufmerksamkeit basierendes Modell unter Verwendung eines Masked-Modeling-Ziels, indem es Masken lernt, ohne jegliche domänenspezifische Annahmen zu machen. Wir evaluieren SMA an drei Benchmarks für selbstüberwachtes Lernen im Bereich der Proteinforschung, der Vorhersage chemischer Eigenschaften und der Teilchenphysik. Unsere Ergebnisse zeigen, dass SMA in der Lage ist, Darstellungen ohne domänenspezifisches Wissen zu erlernen und dabei die derzeit besten Ergebnisse auf diesen drei Benchmarks erzielt.