Kategorien-Abfrage-Lernen für die Klassifikation von Mensch-Objekt-Interaktionen

Im Gegensatz zu den meisten vorherigen HOI-Methoden, die sich auf die Verbesserung der mensch-objekt-Features konzentrieren, schlagen wir einen neuen und ergänzenden Ansatz namens Kategorie-Abfrage-Lernen vor. Diese Abfragen sind explizit mit Interaktionskategorien verknüpft, werden mittels eines Transformer-Decoders in bildspezifische Kategoriedarstellungen umgewandelt und über eine zusätzliche klassifikationsbasierte Aufgabe auf Bildebene gelernt. Diese Idee wurde durch eine frühere Methode für mehrfach-label-basierte Bildklassifikation motiviert, wird jedoch erstmals für die anspruchsvolle Aufgabe der mensch-objekt-Interaktion-Klassifikation eingesetzt. Unser Ansatz ist einfach, allgemein gültig und wirksam. Er wurde an drei repräsentativen HOI-Baselines validiert und erzielt auf zwei Benchmarks neue SOTA-Ergebnisse.