MRN: Multiplexed Routing Network für inkrementelle mehrsprachige Texterkennung

Multisprachige Texterkennungssysteme (MLTR) konzentrieren sich typischerweise auf eine feste Menge an Sprachen, was die Behandlung neu hinzugefügter Sprachen oder die Anpassung an sich ständig verändernde Datensätze erschwert. In diesem Paper stellen wir die Aufgabe des inkrementellen MLTR (IMLTR) im Kontext inkrementellen Lernens (IL) vor, bei der verschiedene Sprachen in Batch-Form eingeführt werden. IMLTR ist besonders herausfordernd aufgrund des sogenannten Rehearsal-Imbalance-Problems, das auf eine ungleichmäßige Verteilung der Zeichen in der Rehearsal-Menge zurückgeht, welche zur Speicherung einer kleinen Menge alter Daten als „Vergangenheitsgedächtnis“ dient. Um dieses Problem zu bewältigen, schlagen wir ein Multiplexed Routing Network (MRN) vor. MRN trainiert für jede aktuell betrachtete Sprache einen separaten Erkennungsmodell. Anschließend wird ein Sprachdomänen-Prädiktor auf Basis der Rehearsal-Menge gelernt, um die einzelnen Erkennungsmodelle gewichtete zu kombinieren. Da die Erkennungsmodelle auf den ursprünglichen Daten basieren, reduziert MRN effektiv die Abhängigkeit von älteren Daten und wirkt somit besser gegen das Phänomen der katastrophalen Vergessens (catastrophic forgetting), das zentrale Problem im inkrementellen Lernen. Wir evaluieren MRN umfassend auf den Datensätzen MLT17 und MLT19. Es übertrifft bestehende allgemeine IL-Methoden mit erheblichen Abständen, wobei die durchschnittliche Genauigkeitssteigerung je nach Einstellung zwischen 10,3 % und 35,8 % liegt. Der Quellcode ist unter https://github.com/simplify23/MRN verfügbar.