Die Erkennung von Fußgängern ist eine entscheidende Aufgabe für sicherheitskritische Systeme, doch die Detektion von Fußgängern ist unter schlechten Lichtverhältnissen und ungünstigen Wetterbedingungen herausfordernd. Wärmebilder können die Robustheit durch Bereitstellung ergänzender Informationen gegenüber RGB-Bildern verbessern. Frühere Studien haben gezeigt, dass die multimodale Merkmalsfusion mittels Faltungsoperationen wirksam sein kann, jedoch beruhen solche Methoden ausschließlich auf lokalen Merkmalskorrelationen, was die Leistungsfähigkeit beeinträchtigen kann. Um dieses Problem anzugehen, schlagen wir ein neuartiges Aufmerksamkeitsbasiertes Fusionsnetzwerk vor, das als INSANet (INtra-INter Spectral Attention Network) bezeichnet wird und globale intra- und inter-spektrale Informationen erfasst. Es besteht aus intra- und inter-spektralen Aufmerksamkeitsblöcken, die es dem Modell ermöglichen, wechselseitige spektrale Beziehungen zu lernen. Zudem identifizierten wir eine Ungleichverteilung im multispektralen Datensatz, die durch mehrere Faktoren verursacht wird, und entwickelten eine Erweiterungsstrategie, die konzentrierte Verteilungen reduziert und das Modell befähigt, die vielfältigen Positionen von Fußgängern zu lernen. Umfangreiche Experimente belegen die Wirksamkeit der vorgeschlagenen Methoden, die auf den Datensätzen KAIST und LLVIP eine state-of-the-art-Leistung erzielen. Abschließend führen wir eine regionale Leistungsbewertung durch, um die Effektivität unseres vorgeschlagenen Netzwerks in verschiedenen geografischen Regionen zu demonstrieren.