MERGE: Schnelle private Textgenerierung

Die drastische Zunahme der Parameter von Sprachmodellen hat zu einem neuen Trend geführt, bei dem Modelle auf Cloud-Servern bereitgestellt werden, was zunehmende Bedenken hinsichtlich des privaten Inferenzprozesses für Transformer-basierte Modelle aufwirft. Bestehende Techniken zur Schutz der Privatsphäre zwischen zwei Parteien berücksichtigen jedoch nur Szenarien des natürlichen Sprachverstehens (NLU). Der private Inferenzprozess im Bereich der natürlichen Sprachgenerierung (NLG), der für Anwendungen wie Übersetzung und Code-Vervollständigung entscheidend ist, wurde bisher wenig erforscht. Darüber hinaus leiden vorherige Techniken zum Schutz der Privatsphäre unter Konvergenzproblemen während des Modelltrainings und zeigen eine schlechte Inferenzgeschwindigkeit bei Verwendung mit NLG-Modellen, da zeitaufwendige Operationen in autoregressiven Generierungen vernachlässigt wurden.Um diese Probleme zu lösen, schlagen wir einen schnellen Rahmen für die private Textgenerierung für Transformer-basierte Sprachmodelle vor, nämlich MERGE. MERGE nutzt den ausgegebenen versteckten Zustand als Wort-Einbettung (word embedding), um die Berechnung der Einbettung zu umgehen, und reorganisiert die linearen Operationen im Transformer-Modul, um den Vorwärtsdurchlauf zu beschleunigen. Umfangreiche Experimente zeigen, dass MERGE bei einer Sequenzlänge von 512 eine 26,5-fache Geschwindigkeitsverbesserung gegenüber dem unveränderten verschlüsselten Modell erreicht und die Kommunikationskosten um 80 % reduziert, wobei es bis zu zehnmal schneller als die neuesten approximativen Modelle ist.