Dev News Daily ENDE

IBM veröffentlicht LLMON, Markup aus reservierten Tokens, mit zwei Granite-4.1-Vorschauen

Das Granite-Team von IBM hat am 12. November LLMON vorgestellt, kurz für LLM Object Notation, ausgesprochen wie das englische lemon. Es ist eine Auszeichnungssprache, die für Sprachmodelle gedacht ist und nicht für Parser. Dazu kommen zwei experimentelle Modelle auf Basis von Granite 4.1, granite-4.1-3b-LLMON-preview und granite-4.1-8b-LLMON-preview, sowie ein GitHub-Repository mit Konvertern, Vorlagen und Beispielabläufen.

Das beschriebene Problem kennt jeder, der Agenten baut. In einer langen Sitzung sammeln sich Systemprompt, frühere Runden, abgerufene Dokumente, Werkzeugausgaben, Vorgaben für die Antwort und Gedankenketten im Kontext. Die Struktur bleibt meist implizit oder steckt in JSON, und JSON sei für Parser entworfen worden, so der Beitrag. Der Tokenizer hält sich nicht an dessen Grammatik, dasselbe Anführungszeichen beginnt Text und schließt ein Feld, und die Verschachtelung muss über lange Strecken aus Klammern erschlossen werden, was Transformern schwerfällt.

LLMON ähnelt XML, doch die Begrenzer sind reservierte Spezialtokens statt gewöhnlicher Zeichen; Markup und Inhalt nutzen also verschiedene Teile des Vokabulars. Jeder Abschnitt nennt sein Tag am Anfang, Verschachtelung wird lokal angegeben, jedes Element erhält eine eindeutige ID. Ein exec-Block am Ende des gerenderten Prompts legt dann über diese IDs fest, welche Anweisung auf welche Daten unter welchen Vorgaben angewendet wird. Im Chat-Template lässt sich jeder Teil einer Nachricht mit exec True oder False markieren; Teile mit False stehen im Kontext, aber nichts verweist auf sie.

Die wichtigste Aussage betrifft indirekte Prompt-Injection. Weil das Modell darauf trainiert ist, nur auf Abschnitte zu reagieren, die im exec-Block gebunden sind, werden Befehle, die in Nutzerdaten versteckt sind, weitgehend übergangen. Für einige Benchmarks meldet der Beitrag eine Erfolgsquote der Angriffe nahe null, während gewöhnliche instruktionsgetunte Modelle mit hoher Wahrscheinlichkeit gekapert werden; die allgemeine Leistung bleibe auf dem Niveau von Granite 4.1 Instruct. Zudem sollen fremde Passagen und alte Runden seltener in Antworten geraten, weil jede Anweisung an ihre Daten gebunden ist.

LLMON ersetzt Chat-Templates nicht, betonen die Autoren, es ergänzt sie: Rollen sagen, wer spricht, LLMON sagt, was jeder Teil bedeutet. JSON lässt sich verlustfrei in beide Richtungen umwandeln, und die Bibliothek Mellea verpackt ihre Modellaufrufe bereits automatisch in LLMON.

IBM veröffentlicht LLMON, Markup aus reservierten Tokens, mit zwei Granite-4.1-Vorschauen
IBM veröffentlicht LLMON, Markup aus reservierten Tokens, mit zwei Granite-4.1-Vorschauen — Dev News Daily

Warum das wichtig ist

Gegen Prompt-Injection wird meist außerhalb des Modells gearbeitet, mit Filtern und Hüllen. LLMON verlegt einen Teil der Trennung in Training und Tokenisierung. Die Modelle sind Vorschauen und die stärksten Zahlen stammen aus ausgewählten Benchmarks; bevor man das Format als Schutz behandelt, braucht es unabhängige Tests.