Wie man BERT mit einem akademischen Budget trainiert

Obwohl große Sprachmodelle im Stil von BERT in der Sprachverarbeitung (NLP) allgegenwärtig sind, gilt deren Vortrainierung als Luxus, den nur wenige gut finanzierte Industrielabore sich leisten können. Wie lässt sich ein solches Modell mit einem bescheideneren Budget trainieren? Wir präsentieren eine Vorgehensweise zur Vortrainierung eines maskierten Sprachmodells innerhalb von 24 Stunden unter Verwendung eines einzigen günstigen Deep-Learning-Servers. Wir zeigen, dass durch eine Kombination aus Software-Optimierungen, strategischen Architekturwahl und Hyperparameter-Tuning Modelle erzeugt werden können, die auf GLUE-Aufgaben mit BERT-base konkurrieren, jedoch nur einen Bruchteil der ursprünglichen Trainingskosten verursachen.