Partial FC: Training 10 Millionen Identitäten auf einer einzigen Maschine

Die Gesichtserkennung ist seit langem ein aktives und zentrales Thema innerhalb der Computer-Vision-Community. Frühere Forschungsarbeiten konzentrierten sich hauptsächlich auf Verlustfunktionen für die Extraktion von Gesichtsmerkmalen, wobei die Verbesserungen von auf Softmax basierenden Verlustfunktionen die Leistung der Gesichtserkennung erheblich vorangetrieben haben. Allerdings wird der Widerspruch zwischen der rasant wachsenden Anzahl an Gesichtsidentitäten und dem begrenzten GPU-Speicher zunehmend unlösbar. In diesem Artikel analysieren wir umfassend das Optimierungsziel von auf Softmax basierenden Verlustfunktionen sowie die Herausforderungen des Trainings mit einer großen Anzahl von Identitäten. Wir stellen fest, dass die Bedeutung negativer Klassen in der Softmax-Funktion für die Lernung von Gesichtsrepräsentationen nicht so hoch ist, wie bisher angenommen wurde. Experimente zeigen, dass bei Verwendung nur von 10 % zufällig ausgewählten Klassen zur Optimierung der Softmax-basierten Verlustfunktion gegenüber dem Training mit allen Klassen keine Genauigkeitsverluste auftreten, selbst bei Verwendung modernster Modelle auf etablierten Benchmark-Datensätzen. Darüber hinaus implementieren wir einen äußerst effizienten verteilten Stichproben-Algorithmus, der Modellgenauigkeit und Trainingsgeschwindigkeit berücksichtigt und es ermöglicht, Klassifizierungsaufgaben mit zehn Millionen Identitäten mit lediglich acht NVIDIA RTX 2080 Ti-Grafikkarten durchzuführen. Der Quellcode dieses Artikels ist unter https://github.com/deepinsight/insightface/tree/master/recognition/partial_fc verfügbar.