IBM Granite 4.1 : LLMON contre l'injection de prompt
IBM a présenté LLMON, un langage de balisage conçu pour les grands modèles de langage, décliné dans deux modèles d’aperçu issus des versions de base de Granite 4.1 : granite-4.1-3b-LLMON-preview et granite-4.1-8b-LLMON-preview. L’objectif est de rendre explicite la structure des contextes fournis aux modèles : instructions, documents récupérés, réponses d’outils, données utilisateur, contraintes de sortie ou chaînes de raisonnement. Aujourd’hui, cette information est souvent implicite ou encodée dans du JSON, un format pensé pour des analyseurs plutôt que pour des modèles génératifs. Résultat, les modèles, surtout les plus petits, peuvent confondre des balises syntaxiques et des éléments de texte, suivre difficilement une arborescence longue et, dans certains cas, exécuter par erreur des consignes cachées. LLMON fonctionne comme du XML, mais avec des délimiteurs réservés dans le vocabulaire du modèle. Chaque composant est ainsi identifié par un sens et non seulement par un rôle, puis associé à un identifiant court lui permettant d’être référencé ailleurs dans le contexte. Un bloc d’exécution précise quelle instruction appliquer, sur quelle donnée, sous quelles contraintes et où doit être déposé la réponse. Cette approche ne remplace pas les modèles de conversation classiques ; elle enrichit les gabarits utilisés par les développeurs, qui peuvent continuer à envoyer des messages avec rôles, tout en nommant les parties exécutables. Le gain de sécurité est un argument central. Sur le banc d’essai OPI d’injections indirectes, LLMON montre une robustesse élevée, définie comme la part d’attaques que le modèle refuse d’exécuter. Les modèles évalués évitent 47 % d’attaques de plus que le meilleur modèle de pointe testé et 95 % de plus que le meilleur modèle ouvert comparé. Ces résultats concernent des attaques statiques, non celles qui évoluent sur de nombreuses interactions. Les équipes indiquent poursuivre le travail sur ces scénarios plus dynamiques. La performance générale ne semble pas sacrifiée. Sur les catégories standards, les modèles LLMON restent proches de Granite 4.1 Instruct, car l’entraînement a représenté un corpus d’instructions sous la nouvelle notation plutôt que de changer le type de tâches. Les données incluent aussi des éléments non liés volontairement, afin d’apprendre au modèle à ignorer ce qui n’est pas expressément référencé par un bloc d’exécution. Plusieurs étapes d’apprentissage par renforcement, puis un affinage par paires de préférences, ont ensuite été ajoutées. Un exemple dans ScienceWorld montre aussi que des vocabulaires sur mesure peuvent être définis, puis appris via un adaptateur léger. IBM publie des outils, des carnets de code et invite la communauté à tester ce prototype, encore réservé à l’expérimentation.
