HyperAIHyperAI

Command Palette

Search for a command to run...

HALSIE: Hybrid-Ansatz zum Lernen der Segmentierung durch gleichzeitige Ausnutzung von Bild- und Ereignismodalitäten

Shristi Das Biswas Adarsh Kosta Chamika Liyanagedera Marco Apolinario Kaushik Roy

Zusammenfassung

Ereigniskameras erfassen Änderungen der Intensität pro Pixel, um asynchrone „Ereignisströme“ zu generieren. Sie bieten großes Potenzial für die präzise und zeitnahe Erstellung semantischer Karten in Echtzeitsystemen, da sie im Vergleich zu herkömmlichen Kameras eine deutlich höhere zeitliche Auflösung und einen hohen Dynamikbereich (HDR) aufweisen. Allerdings leiden bestehende Implementierungen für ereignisbasierte Segmentierung an suboptimaler Leistung, da diese zeitlich dichten Ereignisse lediglich die variierenden Komponenten eines visuellen Signals erfassen und daher im Vergleich zu Bildern eine eingeschränkte Fähigkeit zur Kodierung dichter räumlicher Kontextinformationen besitzen. Um dieses Problem anzugehen, schlagen wir einen hybriden end-to-end Lernrahmen namens HALSIE vor, der drei zentrale Konzepte nutzt, um die Inferenzkosten im Vergleich zur vorherigen Forschung um bis zu 20×20\times20× zu reduzieren, ohne die Leistungsignatur signifikant zu beeinträchtigen: Erstens ein einfaches und effizientes Lernverfahren über Domänen hinweg, um komplementäre räumlich-zeitliche Embeddings sowohl aus Bildern als auch aus Ereignissen zu extrahieren. Zweitens ein speziell entworfener Dual-Encoder-Ansatz mit Zweigstrukturen aus Spiking Neural Networks (SNN) und Artificial Neural Networks (ANN), der die Latenz minimiert, während gleichzeitig die Aggregation von Merkmalen aus verschiedenen Domänen erhalten bleibt. Drittens ein Multi-Skala-Cue-Mixer, der reichhaltige Darstellungen der gefilterten Embeddings modelliert. Diese Eigenschaften ermöglichen HALSIE eine äußerst leichte Architektur, die auf den Datensätzen DDD-17, MVSEC und DSEC-Semantic state-of-the-art Segmentierungsergebnisse erzielt – mit bis zu 33×33\times33× höherer Parameter-Effizienz und günstigen Inferenzkosten (17,9 mJ pro Zyklus). Unsere Ablationstudie liefert zudem neue Einsichten in effektive Designentscheidungen, die für Forschungsarbeiten in anderen visuellen Aufgaben von Nutzen sein können.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HALSIE: Hybrid-Ansatz zum Lernen der Segmentierung durch gleichzeitige Ausnutzung von Bild- und Ereignismodalitäten | Paper | HyperAI