Les images multispectrales de paires couleur-thermique se sont révélées plus efficaces qu'un seul canal de couleur pour la détection des piétons, en particulier dans des conditions d'éclairage difficiles. Cependant, il manque encore des études sur la façon de fusionner efficacement les deux modalités. Dans cet article, nous comparons en profondeur six différentes architectures de fusion de réseaux convolutionnels et analysons leurs adaptations, permettant à une architecture basique d'obtenir des performances de détection comparables aux résultats les plus avancés. De plus, nous découvrons que les confiances de détection des piétons issues des images couleur ou thermiques sont corrélées avec les conditions d'éclairage. Forts de cette constatation, nous proposons un Faster R-CNN sensible à l'éclairage (IAF R-CNN). Plus précisément, un réseau sensible à l'éclairage est introduit pour fournir une mesure d'éclairage de l'image d'entrée. Ensuite, nous fusionnons de manière adaptative les sous-réseaux couleur et thermique par le biais d'une fonction porte définie sur la valeur d'éclairage. Les résultats expérimentaux sur le benchmark KAIST Multispectral Pedestrian valident l'efficacité du IAF R-CNN proposé.