Die multispektrale Fußgängererkennung ist in der Lage, sich bei unzureichender Beleuchtung durch die Nutzung von Farb- und Wärmeinformationen anzupassen. Andererseits fehlen bislang tiefgreifende Erkenntnisse darüber, wie die beiden Modalitäten effektiv fusioniert werden können. Im Vergleich zur herkömmlichen Fußgängererkennung leiden multispektrale Ansätze unter Problemen der Modalitätsungleichgewichtigkeit, was den Optimierungsprozess eines Dual-Modality-Netzwerks beeinträchtigt und die Leistung des Detektors abschwächt. Inspiriert durch diese Beobachtung stellen wir das Modality Balance Network (MBNet) vor, das den Optimierungsprozess deutlich flexibler und ausgewogener gestaltet. Zunächst entwickeln wir ein neuartiges Differential Modality Aware Fusion (DMAF)-Modul, das die beiden Modalitäten gegenseitig ergänzt. Zweitens integrieren wir ein beleuchtungsbedingtes Merkmalsausrichtungsmodul, das je nach Beleuchtungssituation komplementäre Merkmale auswählt und die Merkmale beider Modalitäten adaptiv ausrichtet. Umfangreiche experimentelle Ergebnisse zeigen, dass MBNet sowohl auf den anspruchsvollen multispektralen Datensätzen KAIST als auch CVC-14 die derzeitigen State-of-the-Art-Methoden hinsichtlich Genauigkeit und rechnerischer Effizienz übertrifft. Der Quellcode ist unter https://github.com/CalayZhou/MBNet verfügbar.