Granite-4.1-Modelle erhalten LLM-native Markupsprache LLMON
IBM hat jetzt die experimentellen Vorschaumodelle granite-4.1-3b-LLMON-preview und granite-4.1-8b-LLMON-preview veröffentlicht. Die auf den Granite-4.1-Basismodellen aufgebauten Systeme sind darauf trainiert, den neuen LLM-nativen Markup-Standard LLMON sowohl zu erzeugen als auch zu lesen. LLMON soll Language Models die explizite Struktur, Semantik und Zuordnung von Kontextelementen vermitteln, die in längeren Dialogen und Agentenabläufen normalerweise aus Systemprompts, Anweisungen, Nutzerdaten, Werkzeugantworten, Anforderungen und Reasoning-Schritten gemischt vorhanden sind. Die Veröffentlichung adressiert eine zentrale Schwäche kleinerer und mittelgroßer Modelle: Ihre Eingabekontexte enthalten viele heterogene Bausteine, die in klassischen Formaten wie JSON häufig nur über Zeichen und Token-Muster abgebildet werden. Für Parser ist JSON eindeutig, für kausale Language Models ist die Struktur aber oft schwerer zu erfassen, weil Klammern, Anführungszeichen und Escaping keine semantisch trennscharfen Signale sind. LLMON setzt daher auf XML-artige, eigens reservierte Spezial-Token als Trenner, semantische Tags und eindeutige Block-IDs. Dadurch können Anweisungen, Daten, Anforderungen und Ausgaben im Kontext präzise adressiert und mit einem Ausführungsblock verknüpft werden, ohne dass das Modell Verschachtelungen über lange Textstrecken allein aus Zeichenketten rekonstruieren muss. IBM betont, dass LLMON Chat-Templates nicht ersetzt, sondern erweitert. Statt nur die Rolle eines Beitrags wie System, Nutzer oder Assistent zu markieren, beschreibt LLMON die Bedeutung und die Abhängigkeiten der einzelnen Bestandteile. Ein normaler Nutzerturm mit Aufgabe, Daten und Nebenbedingungen wird nicht als unstrukturierter String übergeben, sondern als mehrere getrennte, referenzierbare Blöcke repräsentiert. Ein zusätzlicher Block legt fest, welche Anweisung auf welche Daten angewendet wird, welche Anforderungen gelten und wo die Antwort abzulegen ist. Besonders im Sicherheitskontext sind die Ergebnisse relevant. In Tests gegen indirekte Prompt-Injection-Angriffe, bei denen schädliche Anweisungen in abgerufene Dokumente, Werkzeugantworten oder Nutzerdaten eingebettet werden, zeigten die LLMON-Vorschauversionen eine deutlich höhere Robustheit. Laut IBM vermeiden die Modelle im OPI-Benchmark 47 Prozent mehr Angriffe als das beste getestete Frontier-Modell und 95 Prozent mehr als das beste getestete Open-Source-Modell. Ähnliche Effekte wurden auf weiteren Benchmarks beobachtet. General capability bleibt den Angaben zufolge auf dem Niveau der konventionell abgestimmten Granite-4.1-Instruct-Modelle. Die Modelle wurden aus den Granite-4.1-Base-Checkpoints posttrainiert. Dafür wurde ein Instruct-Tuning-Korpus in LLMON umgewandelt, sodass jede Prompt-Komponente als eigener Block adressierbar wurde. Zusätzlich wurde das Training mit nicht gebundenen Ablenkungs-Instruktionen und Datenblöcken angereichert, die im Kontext vorhanden, aber nicht Teil der auszuführenden Aufgabe sind. So lernt das Modell, nur über den Ausführungsblock autorisierte Anweisungen zu befolgen und ungebundene Eingaben als Daten zu behandeln. Anschließend folgten mehrere Reinforcement-Learning-Stufen sowie ein DPO-Schritt auf eigenen Modellausgaben zu Injection-Versuchen. IBM stellt neben den beiden Preview-Modellen ein GitHub-Repository mit Toolkit, Konvertierungsbeispielen und Workflows bereit. Damit lässt sich JSON verlustfrei in LLMON überführen und wieder zurückwandeln. Zusätzlich zeigt IBM am Beispiel ScienceWorld, dass LLMON mit domänenspezifischen Tag-Vokabularen trainiert werden kann, etwa für Planung, Inventar, Raumzustände und nächste Aktionen in textbasierten Agenten-Simulationen. Das Angebot ist ausdrücklich experimentell und nicht für produktive Nutzung gedacht; IBM bittet Community-Teams, Ergebnisse und Fehler über GitHub Discussions zurückzumelden.
