DECO: Dichte Schätzung des 3D-Kontakts zwischen Mensch und Szene im Freien

Das Verständnis, wie Menschen physischen Kontakt zur Welt aufnehmen, ist entscheidend für die Entwicklung menschenzentrierter Künstlicher Intelligenz. Während die Inferenz von 3D-Kontakt für die Modellierung realistischer und physikalisch plausibler Mensch-Objekt-Interaktionen von großer Bedeutung ist, konzentrieren sich bestehende Methoden entweder auf 2D, betrachten Gelenke anstelle der Oberfläche, verwenden grobe 3D-Körperregionen oder sind nicht auf Bilder aus dem echten Leben anwendbar. Im Gegensatz dazu fokussieren wir uns auf die Inferenz dichter, 3D-Kontakte zwischen der gesamten Körperoberfläche und Objekten in beliebigen Bildern. Um dies zu erreichen, sammeln wir zunächst DAMON, einen neuen Datensatz, der dichte Kontaktdaten auf Vertex-Ebene mit RGB-Bildern kombiniert, die komplexe Mensch-Objekt- und Mensch-Szene-Kontakte enthalten. Zweitens trainieren wir DECO, einen neuartigen 3D-Kontakt-Detektor, der sowohl körperteilgesteuerte als auch umgebungsbezogene Aufmerksamkeit verwendet, um den Kontaktaufbau auf Vertex-Ebene am SMPL-Körper zu schätzen. DECO basiert auf der Erkenntnis, dass menschliche Beobachter Kontakt durch Überlegungen über die berührenden Körperteile, deren Nähe zu Szeneobjekten und den umliegenden Szenebedingungen erkennen. Wir führen umfangreiche Evaluierungen unseres Detektors sowohl auf DAMON als auch auf den RICH- und BEHAVE-Datensätzen durch. Dabei übertreffen wir erheblich existierende Stand-of-the-Art-Methoden in allen Benchmarks. Darüber hinaus zeigen wir qualitativ, dass DECO gut auf vielfältige und anspruchsvolle reale Mensch-Mensch-Interaktionen in natürlichen Bildern verallgemeinert. Der Code, die Daten und die Modelle sind unter https://deco.is.tue.mpg.de verfügbar.