Googles Agile Deliberation baut Klassifikatoren für unscharfe Kategorien über Grenzfälle
Victoria Shinder1 Min. LesezeitGoogle Research hat Agile Deliberation veröffentlicht, ein Framework für Bildklassifikatoren zu subjektiven Kategorien, deren Grenze nicht von vornherein feststeht. Der Beitrag vom 4. November von Otilia Stretcu und Leijie Wang geht von einer einfachen Beobachtung aus: Labeling setzt voraus, dass die labelnde Person eine klare und stabile Definition im Kopf hat. Das gilt für ein Stoppschild, aber nicht für gesundes Essen, inspirierende Kunst oder Content-Moderation.
Das Framework teilt die Arbeit in zwei Phasen. Bei der Eingrenzung wird ein breites Ziel in Definitionen zerlegt, die der Klassifikator erkennen soll, und in solche, die er ausdrücklich nicht melden soll. In der Iterationsphase holt das System Grenzfallbilder, die Person gibt dazu Rückmeldung, und eine LLM-gesteuerte Schleife verfeinert den Prompt, der am Ende der Klassifikator ist.
Getestet wurde in 18 Live-Sitzungen von je 1,5 Stunden mit Teilnehmenden statt auf einem statischen Benchmark, weil subjektive Begriffe sich nach Ansicht des Teams nicht mit festen Testsätzen erfassen lassen. Verglichen wurde mit einem Zero-Shot-Klassifikator, einem Agenten, der den Begriff allein zerlegt, und manueller Abwägung in Tabellen. Laut Beitrag labelten Teilnehmende mit Agile Deliberation über die Zeit konsistenter und bauten Klassifikatoren, die alle drei Vergleichsansätze übertrafen, am deutlichsten bei den schwierigsten Grenzfällen; manuelle Abwägung verbesserte die Genauigkeit oft nicht oder verschlechterte sie.
Gemessen wurde auch die Belastung. Die Teilnehmenden berichteten von deutlich weniger Aufwand, Stress und geistiger Beanspruchung als beim manuellen Prompt-Engineering, und alle zogen den neuen Ablauf vor. Der Code ist auf GitHub offen, mit einem Notebook zum Beispiel gesundes Essen.
Was das bedeutet
Die brauchbare Idee: Die Unschärfe liegt bei der Person, nicht beim Modell. Ihr die Fälle zu zeigen, an denen sich die eigene Definition teilt, ist günstiger, als einen perfekten Prompt im Voraus zu verlangen.