Lernen bedingter Attribute für zusammengesetzte zero-shot Learning

Kompositionelle Zero-Shot-Learning (CZSL) zielt darauf ab, Modelle zu trainieren, um neue kompositionelle Konzepte auf der Grundlage bereits gelernter Konzepte – beispielsweise Attribut-Objekt-Kombinationen – zu erkennen. Eine zentrale Herausforderung besteht darin, die Interaktionen von Attributen mit unterschiedlichen Objekten zu modellieren, etwa das Attribut „nass“ in „nasse Apfel“ und „nasse Katze“, das jeweils unterschiedliche Bedeutungen hat. Als Lösung führen wir eine Analyse durch und argumentieren, dass Attribute bedingt durch das erkannte Objekt und das Eingabebild sind. Wir untersuchen zudem die Lernung bedingter Attribut-Embeddings mittels eines vorgeschlagenen Attribut-Lernframeworks, das aus einem Attribut-Hyper-Lerner und einem Attribut-Basise-Lerner besteht. Durch die Kodierung bedingter Attribute ermöglicht unser Modell die Generierung flexibler Attribut-Embeddings, die eine bessere Generalisierung von gesehenen auf unerwartete Kompositionen erlauben. Experimente auf CZSL-Benchmark-Datensätzen, darunter der anspruchsvollere C-GQA-Datensatz, zeigen eine überlegene Leistung im Vergleich zu anderen state-of-the-art-Ansätzen und belegen die Bedeutung des Lernens bedingter Attribute. Der Quellcode ist unter https://github.com/wqshmzh/CANet-CZSL verfügbar.