Le suivi RGB-T, une tâche essentielle du suivi d'objets, a connu des progrès remarquables ces dernières années. Cependant, il reste entravé par deux défis majeurs : 1) le compromis entre performance et efficacité ; 2) la rareté des données d'entraînement. Pour relever ce dernier défi, certaines méthodes récentes utilisent des prompts pour affiner les modèles de suivi RGB pré-entraînés et exploiter les connaissances amont de manière efficace en termes de paramètres. Cependant, ces méthodes ne parviennent pas à explorer adéquatement les modèles indépendants de la modalité et négligent la fiabilité dynamique des différentes modalités dans des scénarios ouverts. Nous proposons M3PT, une nouvelle méthode de suivi RGB-T basée sur des prompts qui utilise une fusion intermédiaire ajustable et des prompts visuels multi-modaux et multi-étapes pour surmonter ces défis. Nous sommes les premiers à utiliser un cadre métamodèle de fusion intermédiaire ajustable pour le suivi RGB-T, ce qui pourrait aider le tracker à équilibrer la performance avec l'efficacité afin de répondre aux divers besoins des applications. De plus, en nous appuyant sur ce cadre métamodèle, nous utilisons plusieurs stratégies de prompts flexibles pour adapter le modèle pré-entraîné à une exploration complète des modèles unimodaux et à une modélisation améliorée des caractéristiques fusionnées dans divers scénarios prioritaires en termes de modalités, exploitant ainsi le potentiel de l'apprentissage par prompts dans le suivi RGB-T. Évaluée sur six benchmarks existants et difficiles, notre méthode dépasse les méthodes précédentes d'affinage par prompts tout en maintenant une grande compétitivité face aux excellentes méthodes d'affinage complet en paramètres, avec seulement 0,34 million de paramètres affinés.