Clustern und Aggregieren: Gesichtserkennung mit großem Sondierungsset

Die Merkmalsfusion spielt eine entscheidende Rolle bei der unbeschränkten Gesichtserkennung, bei der die Eingaben (Probes) aus einer Menge von $N$ Bildern geringer Qualität bestehen, deren einzelne Qualitäten variieren. Fortschritte in Aufmerksamkeits- und rekurrenten Modulen haben zu Merkmalsfusionen geführt, die Beziehungen zwischen den Bildern in der Eingabemenge modellieren können. Allerdings sind Aufmerksamkeitsmechanismen aufgrund ihrer quadratischen Komplexität nicht skalierbar für große $N$, während rekurrente Module anfällig für die Eingabereihenfolge sind. Wir stellen ein zweistufiges Merkmalsfusionsschema vor, das als „Cluster und Aggregieren“ bezeichnet wird, das sowohl für große $N$ skalierbar ist als auch die Fähigkeit zur sequenziellen Inferenz mit Ordnungsinvarianz bewahrt. Speziell umfasst die Cluster-Stufe eine lineare Zuordnung der $N$ Eingaben zu $M$ globalen Clusterzentren, während die Aggregations-Stufe eine Fusion über die $M$ gruppierten Merkmale durchführt. Die gruppierten Merkmale spielen dabei eine zentrale Rolle, insbesondere wenn die Eingaben sequenziell sind, da sie als Zusammenfassung der vorherigen Merkmale dienen können. Durch Ausnutzung der Ordnungsinvarianz der inkrementellen Durchschnittsbildung entwerfen wir eine Aktualisierungsregel, die Batch-Reihenfolgeninvarianz erreicht und sicherstellt, dass die Beiträge früher Bilder in der Sequenz mit zunehmenden Zeitstufen nicht abnehmen. Experimente auf den Benchmark-Datensätzen IJB-B und IJB-S belegen die Überlegenheit des vorgeschlagenen zweistufigen Schemas bei der unbeschränkten Gesichtserkennung. Der Quellcode und vortrainierte Modelle sind unter https://github.com/mk-minchul/caface verfügbar.