Muti-View-Maus-Soziales-Verhaltenserkennung mit tiefen grafischen Modellen

Die Analyse sozialer Verhaltensweisen von Mäusen in der Heimkäfigumgebung stellt ein unverzichtbares Werkzeug zur Beurteilung der therapeutischen Wirksamkeit neurodegenerativer Erkrankungen dar. Trotz erheblicher Anstrengungen innerhalb der Forschungsgemeinschaft werden zur Analyse vorwiegend Einzelkamera-Videodaten verwendet. Aufgrund des Potenzials, reichhaltige Beschreibungen sozialer Mäuseverhaltensweisen zu liefern, gewinnt die Verwendung von Mehransicht-Videodaten für die Beobachtung von Nagetieren zunehmend an Aufmerksamkeit. Dennoch bleibt die Identifizierung sozialer Verhaltensweisen aus verschiedenen Blickwinkeln herausfordernd, da aufgrund fehlender Korrespondenz zwischen den Datensätzen eine eindeutige Zuordnung schwierig ist. Um dieses Problem anzugehen, stellen wir hier ein neuartiges Multiview-Latent-Attention- und dynamisches diskriminatives Modell vor, das gemeinsam view-spezifische und view-geteilte Unterstrukturen lernt: Während die erstgenannten die einzigartigen Dynamiken jedes Einzelaufnahmewinkels erfassen, kodieren die letzteren die Interaktionen zwischen den verschiedenen Blickwinkeln. Zudem wird ein neuartiges Multiview-Latent-Attention-variationaler Autoencoder-Modell vorgestellt, das zur Lernung der gewonnenen Merkmale eingesetzt wird und es ermöglicht, diskriminative Merkmale in jeder Ansicht zu erlernen. Experimentelle Ergebnisse auf den etablierten CRMI13-Daten sowie auf unseren eigenen Mehransicht-Parkinson-Maus-Verhaltensdatensätzen (PDMB) zeigen, dass unser Modell die anderen State-of-the-Art-Technologien übertrifft und zudem effektiv mit unbalancierten Datensätzen umgehen kann.