Les modèles de récompense jouent un rôle essentiel dans l’alignement des systèmes vision-langage sur les préférences humaines, mais les approches actuelles souffrent de hallucinations, d’un ancrage visuel faible et d’une incapacité à utiliser des outils pour la vérification, ce qui limite leur fiabilité sur des tâches complexes de raisonnement multimodal. Nous proposons ARM-Thinker, un modèle de récompense multimodal agissant qui invoque de manière autonome des outils externes (par exemple, découpage d’image, récupération de pages de document) afin d’ancrer ses jugements sur des preuves vérifiables, remplaçant ainsi les évaluations de récompense statiques et non interactives. Cette approche permet au modèle de vérifier des détails visuels fins, de croiser des preuves issues de plusieurs pages et de valider les affirmations de raisonnement, des capacités absentes dans les modèles de récompense existants. Nous entraînons ARM-Thinker via un apprentissage par renforcement en plusieurs étapes, en optimisant conjointement les décisions d’appel d’outils et la précision des jugements. Pour évaluer le modèle de récompense agissant, nous introduisons ARMBench-VL, composé de trois benchmarks évaluant l’ancrage visuel fin (outils au niveau de l’image), la compréhension de documents multi-pages (outils de récupération) et le respect des instructions (vérification au niveau du texte). ARM-Thinker obtient une amélioration moyenne de +16,2 % sur les benchmarks de modélisation de récompense, +9,6 % sur les tâches d’utilisation d’outils, et surpasse les modèles de référence sur les benchmarks de raisonnement mathématique et logique multimodal. Nos résultats démontrent que les capacités agissantes améliorent significativement à la fois la précision et l’interprétabilité des modèles de récompense.