Einschuss-Objekterkennung mit Co-Attention und Co-Excitation

Dieses Papier stellt sich die Herausforderung des One-Shot-Objekterkennungsproblems. Das Ziel besteht darin, bei einem Abfragebildausschnitt, dessen Klassenbezeichnung nicht in den Trainingsdaten enthalten ist, alle Instanzen derselben Klasse in einem Zielbild zu erkennen. Zu diesem Zweck entwickeln wir einen neuen Rahmen für {\em Co-Attention und Co-Excitation} (CoAE), der in drei wesentlichen technischen Aspekten beiträgt. Erstens schlagen wir vor, die Nicht-Lokale Operation zu verwenden, um die im jeweiligen Abfrage-Ziel-Paar enthaltene Co-Attention zu erforschen und Regionenvorschläge zu generieren, die die One-Shot-Situation berücksichtigen. Zweitens formulieren wir ein Squeeze-and-Co-Excitation-Verfahren, das korrelierte Merkmalskanäle anpassungsfähig hervorhebt, um relevante Vorschläge und letztendlich die Zielobjekte aufzudecken. Drittens gestalten wir einen margenbasierten Rangverlust für das implizite Lernen einer Metrik, um die Ähnlichkeit eines Regionenvorschlags zum zugrunde liegenden Abfragebild vorherzusagen, unabhängig davon, ob seine Klassenbezeichnung während des Trainings gesehen oder nicht gesehen wurde. Das resultierende Modell ist daher ein zweistufiger Detektor, der sowohl unter dem One-Shot-Erkennungssetting auf VOC als auch auf MS-COCO eine starke Baseline erzielt, indem es Objekte von sowohl gesehenen als auch noch nie gesehenen Klassen erkennt. Der Quellcode ist unter https://github.com/timy90022/One-Shot-Object-Detection verfügbar.