PATE-GAN: Generierung synthetischer Daten mit Garantien für differenzielle Privatsphäre

Maschinelles Lernen hat das Potenzial, vielen Gemeinschaften bei der Nutzung der zunehmend verfügbaren großen Datensätze zu helfen. Leider wird ein Großteil dieses Potenzials nicht ausgeschöpft, da dies eine Datenteilung erfordern würde, die die Privatsphäre gefährdet. In diesem Artikel untersuchen wir eine Methode zur Gewährleistung (differenzieller) Privatsphäre des Generators im Rahmen des Generativen adversarialen Netzes (GAN). Das resultierende Modell kann zur Erzeugung synthetischer Daten verwendet werden, auf denen Algorithmen trainiert und validiert sowie Wettbewerbe durchgeführt werden können, ohne die Privatsphäre des ursprünglichen Datensatzes zu verletzen. Unsere Methode modifiziert den Private Aggregation of Teacher Ensembles (PATE)-Rahmen und wendet ihn auf GANs an. Unser modifizierter Rahmen (den wir PATE-GAN nennen) ermöglicht es uns, den Einfluss jedes einzelnen Datensamples auf das Modell eng zu begrenzen, was zu strengen differentialen Privatschutzgarantien führt und somit eine verbesserte Leistung im Vergleich zu Modellen mit gleichen Garantien ermöglicht. Zudem betrachten wir die Bewertung der Qualität synthetischer Daten aus einer neuen Perspektive: Wir behaupten, dass synthetische Daten für Forscher im Bereich maschinelles Lernen dann nützlich sind, wenn das relative Leistungsverhältnis zweier Algorithmen (beim Trainieren und Testen) auf dem synthetischen Datensatz demselben Verhältnis auf dem ursprünglichen Datensatz entspricht. Unsere Experimente an verschiedenen Datensätzen zeigen, dass PATE-GAN sowohl hinsichtlich dieser als auch anderer Maßstäbe für die Qualität synthetischer Daten konsistent die aktuell beste Methode übertrifft.