Reviving the Context: Kamerafallen-Speziesklassifikation als Link Prediction auf multimodalen Wissensgraphen

Kameratfallen sind wichtige Werkzeuge in der Tierökologie zur Überwachung der Biodiversität und zum Schutz der Natur. Ihre praktische Anwendung ist jedoch durch Probleme wie eine schlechte Verallgemeinerung auf neue und bisher nicht gesehene Standorte begrenzt. Bilder sind typischerweise mit vielfältigen Kontextinformationen verbunden, die in unterschiedlichen Modalitäten auftreten können. In dieser Arbeit nutzen wir den strukturierten Kontext, der mit Kameratfallenbildern verknüpft ist, um die Generalisierbarkeit über Verteilungen hinaus (out-of-distribution generalization) für Aufgaben der Artenklassifikation bei Kameratfallen zu verbessern. Ein Beispiel hierfür ist ein Bild eines Wildtieres, das mit Angaben zur Aufnahmezeit und -stelle sowie strukturiertem biologischem Wissen über die betreffende Tierart verknüpft sein kann. Obwohl solcher Kontext in bisherigen Studien oft vernachlässigt wird, bietet die Einbeziehung solcher Informationen mehrere potenzielle Vorteile für ein besseres Bildverständnis, beispielsweise die Bewältigung von Datenknappheit und die Verbesserung der Generalisierbarkeit. Die effektive Integration solcher heterogenen Kontexte in den visuellen Domänen stellt jedoch eine herausfordernde Aufgabe dar. Um dies zu bewältigen, schlagen wir einen neuartigen Ansatz vor, der die Artenklassifikation als Link-Vorhersage in einem multimodalen Wissensgraphen (Knowledge Graph, KG) formuliert. Dieser Ansatz ermöglicht die nahtlose Integration verschiedener multimodaler Kontexte für die visuelle Erkennung. Wir evaluieren unseren Ansatz anhand der Aufgaben der out-of-distribution-Artenklassifikation auf den Datensätzen iWildCam2020-WILDS und Snapshot Mountain Zebra und erzielen Leistungen, die mit den besten aktuellen Methoden vergleichbar sind. Zudem steigert unser Framework die Stichprobeneffizienz bei der Erkennung unterrepräsentierter Arten.