Erkennung von Mensch-Objekt-Interaktionen mit Aktion-Ko-Kontinuitäts-Prioris

Ein verbreitetes Problem bei der Aufgabe der mensch-objekt-Interaktion (Human-Object Interaction, HOI)-Detektion ist, dass zahlreiche HOI-Klassen nur über eine geringe Anzahl an gelabelten Beispielen verfügen, was zu einer langen Schwanzverteilung in den Trainingsdatensätzen führt. Das Fehlen positiver Labels kann zu einer geringen Klassifikationsgenauigkeit für diese Klassen führen. Um dieses Problem anzugehen, beobachten wir, dass zwischen mensch-objekt-Interaktionen natürliche Korrelationen und Antikorrelationen bestehen. In diesem Paper modellieren wir diese Korrelationen als Aktion-Ko-Vorkommens-Matrizen und stellen Techniken vor, um diese Vorwissen zu lernen und für eine effektivere Trainingsphase, insbesondere bei seltenen Klassen, zu nutzen. Die Wirksamkeit unseres Ansatzes wird experimentell nachgewiesen, wobei die Leistung unseres Verfahrens sowohl auf dem führenden HOI-Detektions-Benchmark-Datensatz HICO-Det als auch auf V-COCO die der derzeit besten Methoden übertrifft.