Hugging Face führt Decision-Pipeline ein: Modelle liefern Wahrscheinlichkeiten statt Text
Hugging Face hat einen Beitrag über sogenannte Decision-Modelle veröffentlicht und Transformers um passende Unterstützung erweitert. Der Gedanke ist schmal und praktisch: Wenn eine Anwendung nur zwischen Antworten wählen muss, die sie bereits kennt, soll das Modell diese Antworten direkt bewerten, statt Token für Token ein JSON-Objekt zu schreiben.
Die beschriebene Schnittstelle hat zwei Eingaben, einen Zustand und benannte Fragen, und gibt typisierte Entscheidungen mit Wahrscheinlichkeiten zurück. Drei Grundtypen decken die Fragen ab. Choice liefert eine Verteilung über benannte Optionen, etwa welches Team ein Support-Ticket bearbeiten soll. Score gilt für geordnete Skalen und gibt den Erwartungswert des Stufenindex zurück; ein Ticket mit 1,7 auf einer Dringlichkeitsskala von 0 bis 2 heißt, dass die Wahrscheinlichkeit überwiegend auf „hoch“ liegt, nicht dass das Modell eine Zwischenstufe erfunden hat. Der dritte Typ, von den Autoren nach der Bernoulli-Verteilung noul genannt, gibt die Wahrscheinlichkeit zurück, dass eine Ja/Nein-Aussage zutrifft, und überlässt die Schwelle der Anwendung. Choice und Score melden zudem eine Konfidenz, die die höchste Wahrscheinlichkeit so umrechnet, dass eine Gleichverteilung 0 und eine sichere Antwort 1 ergibt.
Der Beitrag grenzt das von zwei bekannten Werkzeugen ab. Bei einem klassischen Klassifikator stecken die Labels fest im Kopf des Modells, eine neue Abteilung verlangt neues Training. Zero-Shot-Klassifikation erlaubt wechselnde Labels pro Anfrage; Decision-Modelle beantworten zusätzlich mehrere typisierte Fragen zum selben Zustand in einem Aufruf. Ein LLM nach JSON zu fragen, kann laut den Autoren weiterhin das Schema verletzen, und eingeschränktes Dekodieren sichert zwar die Struktur, nicht aber die Kosten für Text, den niemand braucht.
Im Code gibt es nun DecisionPipeline, AutoModelForDecision und DecisionConfig, und transformers serve stellt einen Endpunkt /v1/systemone bereit; die Beispielantwort meldet 148 Eingabe- und null Ausgabe-Token. Dieselbe API funktioniert auch mit kompatiblen autoregressiven Modellen: Transformers baut die Prompts, liest die Logits der Antwortlabels in einem gebündelten Vorwärtsdurchlauf und wendet Softmax an. So lässt sich die Schnittstelle ohne neues Modell ausprobieren. Ziel sei eine gemeinsame Schnittstelle ohne gemeinsame Implementierung, damit Engines wie llama.cpp, der Hub und Trainingswerkzeuge solche Modelle gleich behandeln können.

Warum das wichtig ist
Routing, Triage und Moderation laufen heute oft über einen Chat-Prompt mit anschließendem Parsen. Ein Standard, der pro erlaubter Antwort eine Wahrscheinlichkeit liefert, gibt Anwendungen etwas, das sie mit Schwellen versehen und protokollieren können, und beseitigt eine ganze Klasse von Parse-Fehlern.