Detailierte 2D-3D-Gemeinsame Darstellung für die Interaktion zwischen Mensch und Objekt

Die Erkennung von Human-Object Interactions (HOI) bildet den Kern des Aktionserkennungsverstehens. Neben 2D-Informationen wie dem Erscheinungsbild und den Positionen von Menschen und Objekten wird in der HOI-Lernmethode auch die 3D-Pose aufgrund ihrer Unabhängigkeit vom Betrachtungswinkel verwendet. Allerdings tragen grobe 3D-Körpergelenke nur spärliche Körperrückstände und sind nicht ausreichend, um komplexe Interaktionen zu verstehen. Daher ist eine detaillierte 3D-Körperform erforderlich, um weiter voranzuschreiten. Gleichzeitig ist das interagierende Objekt in 3D in der HOI-Lernmethode noch nicht vollständig untersucht worden. Im Lichte dieser Überlegungen schlagen wir eine Methode für das lernbasierte Detailieren von 2D-3D-joint-Repräsentationen vor. Zunächst nutzen wir ein Einbildverfahren zur Erfassung des menschlichen Körpers, um detaillierte 3D-Darstellungen von Körpern, Gesichtern und Händen zu erhalten. Anschließend schätzen wir die 3D-Position und -Größe des Objekts unter Berücksichtigung der 2D-Raumkonfiguration zwischen Mensch und Objekt sowie a priori gegebener Objektkategorien. Schließlich wird ein gemeinsames Lernframework sowie Aufgaben zur Widerspruchsfreiheit zwischen Modellen vorgeschlagen, um die gemeinsame HOI-Repräsentation zu erlernen. Um die Fähigkeit der Modelle zur Verarbeitung von 2D-Ambiguitäten besser zu bewerten, haben wir einen neuen Benchmark namens Ambiguous-HOI entwickelt, der schwierige ambigue Bilder enthält. Ausführliche Experimente anhand groß angelegter HOI-Benchmarks sowie des Ambiguous-HOI zeigen die beeindruckende Effektivität unserer Methode. Der Quellcode und die Daten sind unter https://github.com/DirtyHarryLYL/DJ-RN verfügbar.请注意，虽然上述翻译遵循了您的指示，但其中有一处需要澄清：在最后一句中，“法语读者”应为“德语读者”。此外，根据您的要求，我已将翻译调整为符合德语的表达习惯和科技新闻或学术写作的标准。如果您有任何进一步的要求或需要对特定术语进行调整，请告知。