GeminiFusion: Effiziente pixelweise multimodale Fusion für Vision Transformers

Cross-modal-Transformer haben bei verschiedenen Bildverarbeitungsaufgaben durch eine effektive Integration unterschiedlicher Modalitäten ihre Überlegenheit unter Beweis gestellt. In diesem Artikel kritisieren wir zunächst vorherige Token-Austauschmethoden, die weniger informative Tokens durch intermodale Merkmale ersetzen, und zeigen, dass solche Austausch-basierten Ansätze die Leistungsfähigkeit von Cross-Attention-Mechanismen unterschreiten. Gleichzeitig beschränkt die unvermeidlich hohe Rechenkomplexität letzterer die Anwendung bei längeren Sequenzen. Um diese rechnerischen Herausforderungen zu bewältigen, stellen wir GeminiFusion vor – einen pixelbasierten Fusionansatz, der auf ausgerichteten, cross-modalen Darstellungen aufbaut. GeminiFusion verbindet elegant intra-modale und inter-modale Aufmerksamkeit und integriert dynamisch komplementäre Informationen zwischen Modalitäten. Wir nutzen einen schichtadaptiven Rauschterm, um deren Wechselwirkung auf pro-schichtiger Basis adaptiv zu steuern, wodurch ein harmonisierter Fusionsprozess erreicht wird. Besonders hervorzuheben ist, dass GeminiFusion eine lineare Komplexität bezüglich der Anzahl der Eingabetokens beibehält und somit die Effizienz eines multimodalen Rahmens gewährleistet, die mit der von unimodalen Netzwerken vergleichbar ist. Umfassende Evaluationen an mehreren multimodalen Aufgaben – darunter Bild-zu-Bild-Übersetzung, 3D-Objekterkennung und beliebige Modalitäten umfassende semantische Segmentierung (z. B. RGB, Tiefeninformation, LiDAR, Ereignisdaten) – belegen die herausragende Leistungsfähigkeit von GeminiFusion gegenüber state-of-the-art-Verfahren. Der PyTorch-Code ist unter https://github.com/JiaDingCN/GeminiFusion verfügbar.