Ein neuartiger Schätzer für die gegenseitige Information zum Lernen der Entkoppelung textueller Darstellungen

Die Lernung entkoppelter Darstellungen von Textdaten ist für zahlreiche Aufgaben im Bereich der natürlichen Sprache entscheidend, darunter faire Klassifikation, Stiltransfer und Satzgenerierung. Die derzeit dominierenden Ansätze im Kontext von Textdaten {beruhen entweder auf dem Training eines Gegners (Discriminators), der darauf abzielt, die Ableitung von Attributwerten aus dem latenten Code zu erschweren, oder auf der Minimierung von variationalen Schranken der Mutual Information zwischen dem latenten Code und dem Attributwert}. {Allerdings leiden die verfügbaren Methoden an der Unmöglichkeit, eine feinkörnige Kontrolle über das Maß (bzw. die Stärke) der Entkoppelung zu ermöglichen.} {Im Gegensatz zu adversarialen Methoden}, die bemerkenswert einfach sind, obwohl der Gegner während des Trainings scheinbar hervorragend funktioniert, bleibt nach Abschluss des Trainings ein erheblicher Anteil an Information über das unerwünschte Attribut noch erhalten. In diesem Artikel wird eine neuartige variationale obere Schranke für die Mutual Information zwischen einem Attribut und dem latenten Code eines Encoders vorgestellt. Unsere Schranke zielt darauf ab, den Approximationsfehler über die Renyi-Divergenz zu kontrollieren, was sowohl zu besser entkoppelten Darstellungen führt als auch insbesondere eine präzise Kontrolle über das gewünschte Maß der Entkoppelung ermöglicht {im Vergleich zu aktuellen State-of-the-Art-Methoden für Textdaten}. Zudem leidet sie nicht unter der Degenerierung anderer Verlustfunktionen in Mehrklassenszenarien. Wir zeigen die Überlegenheit des vorgestellten Ansatzes anhand von Aufgaben zur fairen Klassifikation und zum Textstiltransfer. Zusätzlich liefern wir neue Erkenntnisse, die verschiedene Trade-offs beim Stiltransfer verdeutlichen, wenn versucht wird, entkoppelte Darstellungen zu lernen und gleichzeitig die Qualität des generierten Satzes zu gewährleisten.