Aktivitätsbasiert schwach überwachte Objekterkennung

Schwach überwachte Objekterkennung strebt danach, die Menge an Überwachung zu reduzieren, die für das Training von Erkennungsmodellen erforderlich ist. Solche Modelle werden traditionell aus Bildern/Videos gelernt, die nur mit der Objektklasse und nicht mit dem Objektumgebungsrahmen beschriftet sind. In unserer Arbeit versuchen wir, nicht nur die Objektklassenlabels zu nutzen, sondern auch die den Daten zugeordneten Aktionslabels. Wir zeigen, dass die in Bildern/Videos dargestellte Aktion starke Hinweise auf den Standort des assoziierten Objekts geben kann. Wir lernen ein räumliches Prior für das Objekt abhängig von der Aktion (z.B. "Ball" ist näher am "Bein der Person" bei "Fußball treten"), und integrieren dieses Prior in das gleichzeitige Training eines gemeinsamen Modells zur Objekterkennung und Aktionserkennung. Wir führten Experimente sowohl auf Videodaten- als auch auf Bilddatensätzen durch, um die Leistung unseres schwach überwachten Objekterkennungsmodells zu evaluieren. Unser Ansatz übertreffen die aktuelle Standartechnik (state-of-the-art, SOTA) Methode um mehr als 6% im mittleren Durchschnittspräzisionswert (mAP) auf dem Charades-Videodatensatz.请注意，这里“Fußball treten”是“踢足球”的意思，但为了更贴近原文中的“kicking ball”，我选择了更为直接的翻译。此外，“Charades”是一个专有名词，指的是一种猜谜游戏，在此作为数据集名称保留了英文原名。