Tiefe Merkmalsfaktorisierung für Konzeptentdeckung

Wir schlagen die Methode der tiefen Merkmalsfaktorisierung (Deep Feature Factorization, DFF) vor, die in der Lage ist, ähnliche semantische Konzepte innerhalb eines Bildes oder einer Bildmenge zu lokalisieren. Mit DFF gewinnen wir Einblicke in die gelernten Merkmale eines tiefen Faltungsnetzes (deep convolutional neural network), indem wir hierarchische Clustergstrukturen im Merkmalsraum erkennen. Dies wird als Wärmebilder (heat maps) visualisiert, die semantisch übereinstimmende Bereiche über eine Bildmenge hervorheben und so offenbaren, was das Netzwerk als ähnlich „wahrnimmt“. DFF kann zudem zur gemeinsamen Segmentierung (co-segmentation) und Lokalisierung (co-localization) eingesetzt werden, wobei wir den aktuellen Stand der Technik in diesen Aufgaben erreichen.