Schnelle und einfache Mischung von Softmax-Funktionen mit BPE und Hybrid-LightRNN für Sprachgenerierung

Die Mischung von Softmax-Funktionen (MoS) hat sich als effektiv erwiesen, um die Ausdrucksbeschränkungen von Softmax-basierten Modellen zu überwinden. Trotz des bekannten Vorteils wird die praktische Anwendung von MoS durch den hohen Speicher- und Rechenzeitaufwand eingeschränkt, der auf die Notwendigkeit zurückzuführen ist, mehrere Softmax-Funktionen zu berechnen. In dieser Arbeit untersuchen wir verbesserte Wortcodierungsschemata, die effektiv das Wörterbuchvolumen reduzieren und somit den Speicher- und Rechenaufwand verringern können. Wir zeigen, dass sowohl BPE als auch unser vorgeschlagenes Hybrid-LightRNN zu verbesserten Codierungsmechanismen führen, die den Zeit- und Speicherverbrauch von MoS um die Hälfte reduzieren können, ohne Leistungsverluste. Mit MoS erreichen wir eine Verbesserung um 1,5 BLEU-Punkte im IWSLT 2014 Deutsch-Englisch-Korpus und eine Steigerung um 0,76 CIDEr-Punkte bei Bildunterschriften. Darüber hinaus erzielt unser mit MoS verstärkter Transformer auf dem größeren WMT 2014-Maschinelle Übersetzung-Datensatz 29,5 BLEU-Punkte für Englisch-Deutsch und 42,1 BLEU-Punkte für Englisch-Französisch. Dies übertreffen die Ergebnisse des Single-Softmax-Transformers jeweils um 0,8 und 0,4 BLEU-Punkte und stellen den aktuellen Stand der Technik im WMT 2014 Englisch-Deutsch-Auftrag dar.请注意，这里的“WMT”和“IWSLT”是国际知名的机器翻译评测活动的缩写，通常在德语文献中也会直接使用这些英文缩写。此外，“BLEU”和“CIDEr”是评估机器翻译质量和图像描述生成质量的常用指标，同样会在德语文献中直接使用英文表述。