AIN: Schnelle und genaue Sequenzmarkierung mit Netzwerk für approximative Inferenz

Das lineare Ketten-Conditional Random Field (CRF)-Modell gehört zu den am häufigsten eingesetzten neuronalen Ansätzen für Sequenzmarkierung. Bei der Schätzung und Vorhersage des CRF-Modells werden typischerweise exakte probabilistische Inferenzalgorithmen wie der Forward-Backward- und der Viterbi-Algorithmus eingesetzt. Diese Algorithmen erfordern jedoch sequenzielle Berechnungen, was eine Parallelisierung unmöglich macht. In diesem Artikel schlagen wir vor, einen parallelisierbaren approximativen variationalen Inferenzalgorithmus für das CRF-Modell einzusetzen. Auf Basis dieses Algorithmus entwerfen wir ein approximatives Inferenznetzwerk, das mit dem Encoder des neuronalen CRF-Modells verbunden werden kann, um ein end-to-end-Netzwerk zu bilden, das einer effizienten Parallelisierung zugänglich ist und somit eine beschleunigte Schätzung und Vorhersage ermöglicht. Die empirischen Ergebnisse zeigen, dass unsere vorgeschlagenen Ansätze eine 12,7-fache Verbesserung der Dekodiergeschwindigkeit bei langen Sätzen erreichen, während sie gleichzeitig eine konkurrenzfähige Genauigkeit im Vergleich zum herkömmlichen CRF-Ansatz aufweisen.