Gesichtssuche im großen Maßstab: 80 Millionen Galerie

Aufgrund der weit verbreiteten Nutzung sozialer Medien-Seiten steht den Forschern im Bereich Computer Vision die Herausforderung, Methoden zu entwickeln, um Personen von Interesse unter den Milliarden geteilten Fotos auf diesen Plattformen zu verarbeiten und zu suchen. In einem Weißen Buch aus dem Jahr 2013 gab Facebook bekannt, dass seine Nutzer mehr als 250 Milliarden Fotos hochgeladen haben und täglich etwa 350 Millionen neue Fotos hinzufügen. Aufgrund dieser enormen Datenmenge ist die großskalige Gesichtssuche zur Auswertung von Webbildern sowohl wichtig als auch herausfordernd. Trotz erheblicher Fortschritte bei der Gesichtserkennung wurde das Suchen in einer großen Sammlung unbeschränkter Gesichtsbilder bisher nicht ausreichend behandelt. Um dieser Herausforderung gerecht zu werden, schlagen wir ein Gesichtssuchsystem vor, das eine schnelle Suchprozedur mit einem modernen kommerziellen Matching-System (Commercial Off-The-Shelf, COTS) in einem kaskadierten Framework kombiniert. Bei Vorliegen eines Abtastgesichts filtern wir zunächst die große Bildergalerie, um die top-k ähnlichsten Gesichter mithilfe tiefgreifender Merkmale, die von einem Faltungsneuralnetz generiert werden, zu finden. Die k Kandidaten werden dann durch Kombination der Ähnlichkeiten aus tiefgreifenden Merkmalswerten und dem COTS-Matcher neu sortiert. Wir evaluieren das vorgeschlagene Gesichtssuchsystem anhand einer Galerie mit 80 Millionen über das Internet heruntergeladenen Gesichtsbildern. Die experimentellen Ergebnisse zeigen, dass die tiefgreifenden Merkmale mit den fortschrittlichsten Methoden bei unbeschränkten Gesichtserkennungsbenchmarks (LFW und IJB-A) konkurrieren können. Darüber hinaus bietet das vorgeschlagene Gesichtssuchsystem einen ausgezeichneten Kompromiss zwischen Genauigkeit und Skalierbarkeit bei Datensätzen mit Millionen von Bildern. Zudem konnte das System im Rahmen eines Experiments zur Suche nach Gesichtsbildern der Brüder Tsarnaev, die für die Bombenanschläge beim Boston-Marathon verurteilt wurden, das Foto des jüngeren Bruders (Dzhokhar Tsarnaev) innerhalb einer Sekunde an erster Stelle in einer Galerie von 5 Millionen Bildern und innerhalb von 7 Sekunden an achter Stelle in einer Galerie von 80 Millionen Bildern finden.