Lernen aus simulierten und unüberwachten Bildern durch adversariales Training

Mit den jüngsten Fortschritten im Bereich der Grafik ist es zunehmend machbar, Modelle auf synthetischen Bildern zu trainieren, wodurch möglicherweise die Notwendigkeit teurer Annotationen vermieden werden kann. Das Lernen von synthetischen Bildern kann jedoch aufgrund eines Unterschieds zwischen synthetischen und realen Bildverteilungen das gewünschte Leistungsniveau nicht erreichen. Um diesen Unterschied zu verringern, schlagen wir das Simulierte+Uüberwachte (S+U) Lernen vor, bei dem das Ziel darin besteht, ein Modell zu erlernen, das die Realitätstreue der Ausgabe eines Simulators durch die Verwendung unmarkierter realer Daten verbessert, während gleichzeitig die Annotationeninformationen des Simulators erhalten bleiben. Wir entwickeln eine Methode für S+U-Lernen, die ein adversariales Netzwerk verwendet, das ähnlich wie Generative Adversarial Networks (GANs) funktioniert, aber statt zufälliger Vektoren synthetische Bilder als Eingaben verwendet. Wir führen mehrere wesentliche Anpassungen am Standard-GAN-Algorithmus durch, um Annotationen zu erhalten, Artefakte zu vermeiden und das Training zu stabilisieren: (i) einen „Selbstregulierungsterm“ (self-regularization term), (ii) einen lokalen adversarialen Verlust und (iii) die Aktualisierung des Diskriminators mit einer Historie verfeinerter Bilder. Wir zeigen, dass dies die Erzeugung hochrealistischer Bilder ermöglicht, was wir sowohl qualitativ als auch durch eine Nutzerstudie nachweisen. Die generierten Bilder bewerten wir quantitativ durch das Trainieren von Modellen zur Blickrichtungsschätzung und zur Handhaltungsschätzung. Wir demonstrieren eine erhebliche Verbesserung im Vergleich zum Einsatz von synthetischen Bildern und erreichen Stand-of-the-Art-Ergebnisse auf dem MPIIGaze-Datensatz ohne irgendeine markierte reale Daten.请注意，"Uüberwachte" 应该是 "Unüberwachte"，这是德语中的一个拼写错误。正确的翻译如下：Mit den jüngsten Fortschritten im Bereich der Grafik ist es zunehmend machbar, Modelle auf synthetischen Bildern zu trainieren, wodurch möglicherweise die Notwendigkeit teurer Annotationen vermieden werden kann. Das Lernen von synthetischen Bildern kann jedoch aufgrund eines Unterschieds zwischen synthetischen und realen Bildverteilungen das gewünschte Leistungsniveau nicht erreichen. Um diesen Unterschied zu verringern, schlagen wir das Simulierte+Unüberwachte (S+U) Lernen vor, bei dem das Ziel darin besteht, ein Modell zu erlernen, das die Realitätstreue der Ausgabe eines Simulators durch die Verwendung unmarkierter realer Daten verbessert, während gleichzeitig die Annotationeninformationen des Simulators erhalten bleiben. Wir entwickeln eine Methode für S+U-Lernen, die ein adversariales Netzwerk verwendet, das ähnlich wie Generative Adversarial Networks (GANs) funktioniert, aber statt zufälliger Vektoren synthetische Bilder als Eingaben verwendet. Wir führen mehrere wesentliche Anpassungen am Standard-GAN-Algorithmus durch, um Annotationen zu erhalten, Artefakte zu vermeiden und das Training zu stabilisieren: (i) einen „Selbstregulierungsterm“ (self-regularization term), (ii) einen lokalen adversarialen Verlust und (iii) die Aktualisierung des Diskriminators mit einer Historie verfeinerter Bilder. Wir zeigen, dass dies die Erzeugung hochrealistischer Bilder ermöglicht, was wir sowohl qualitativ als auch durch eine Nutzerstudie nachweisen. Die generierten Bilder bewerten wir quantitativ durch das Trainieren von Modellen zur Blickrichtungsschätzung und zur Handhaltungsschätzung. Wir demonstrieren eine erhebliche Verbesserung im Vergleich zum Einsatz von synthetischen Bildern und erreichen Stand-of-the-Art-Ergebnisse auf dem MPIIGaze-Datensatz ohne irgendeine markierte reale Daten.